本发明公开了一种基于视觉的留胚米留胚度检测方法。利用计算机视觉系统对留胚米进行图像采集，对图像预处理后得到二值图像；对二值图像，基于图像像素间的相似性关系进行分割，完成对分割区域的标记和特征描述；判断标记区域是否含有多粒米，若含有多粒米，则得到单粒米图像；若不含有多粒米则删除标记区域；将单粒米图像按照留胚度，从0％到100％进行分组，对分组后的图像进行数据集扩充；再利用改进后的InceptionV3网络进行训练；改进后的InceptionV3网络训练完成后，利用其对不同厂家的留胚米进行检测。本发明解决了人工检测效率低、受主观性影响大等问题，提高检测效率与检测精度。