本发明公开了基于多模态颈动脉数据的冠心病预测系统，包括：获取模块，其被配置为：获取待预测患者的图像数据和文本数据；其中，所述图像数据，是指颈动脉不同模态图像；特征提取模块，其被配置为：对每种模态的图像提取图像特征；文本特征提取模块，其被配置为：对文本数据提取文本特征；跨模态融合模块，其被配置为：将不同模态的图像特征进行特征融合，得到融合的图像特征；预测模块，其被配置为：将文本特征与融合的图像特征进行串联，将串联后的特征输入到训练后的冠心病分类模型中，得到冠心病预测结果。通过深度学习方法对多模态的颈动脉数据进行有效挖掘来预测冠心病。