本发明提供一种跨模态煤矸石分选方法及装置，属于煤矸石分选技术领域，所述跨模态煤矸石分选方法，包括：获取待分选煤矸石的N个模态的图像，其中，所述N个模态的图像是通过不同类型的成像设备采集得到的；将所述N个模态的图像输入至训练完成的煤矸石分选模型，得到所述待分选煤矸石的分选结果；其中，所述煤矸石分选模型是根据N个模态的煤矸石图像样本以及所述N个模态的煤矸石图像样本对应的实际检测结果进行训练后得到的，N为大于等于2的正整数。本发明通过采用一种新的煤矸石分选模型，基于多模态图像对煤矸石进行检测，使得多个模态的图像之间能够相互补偿图像信息，进而最后的检测结果相较于采用单模态图像而言更为准确。