本发明涉及人工智能领域，具体涉及一种矿用煤矸分选智能控制系统及方法，其中，该系统包括：图像采集模块，用于利用位于第一位置的第一相机采集传送带表面的第一图像；图像处理模块，用于利用语义分割网络识别第一图像中的煤和矸石；其中，训练语义分割网络时所用损失函数的构建过程具体为：基于位于第二位置的第二相机获取传送带表面的第二图像，第二图像与第一图像的相似度大于预设相似度阈值；获取采集到第二图像时第一图像中每个目标的质心在第二图像中的最大移动范围；所述目标为煤或矸石；根据第二图像中每个目标的质心是否在所述最大移动范围内构建损失函数。本发明中的语义分割网络分割精度高、泛化能力较强，对使用工况要求较低。