本发明提供了基于视频解析的煤矸分选系统，属于矿山人工智能机械技术领域。所述系统主要包括中央处理单元、摄像机、近红外线光源及分拣控制单元。所述近红外光源，用于对煤岩样进行红外探测及补光，所述摄像头，用于视频信息采集。所述中央处理单元包括控制模块、近红外光源控制模块、视频处理模块、预测模块、通讯模块，以控制各部分的运行，对煤岩视频信息进行处理、识别及传输至通信模块。所述通信模块，将识别信息传输至分拣控制单元，指挥控制气吹装置及机械手臂。本煤矸分选系统结构简单、识别率高、适应性强，可以实现实时识别及信息传递，保证了煤矸分选的时效性及准确性，提高了煤矸分选效率，保障了人员的安全并有效节约了成本。