本发明公开了一种基于异构图神经网络的跨模态问题Q矩阵自动构建方法，构建了一个同时包含跨模态问题和知识点的异构图，根据相似度建立问题之间与知识点之间的连接，并提出了一个用于学习此异构图节点表示的异构图神经网络，对异构图中的节点特征表示和问题节点和知识点节点间的链接预测进行学习，找出问题和知识点之间的对应关系，以此达到Q矩阵自动构建的目的。本发明通过图神经网络中的链接预测在异构图中直接寻找问题与知识点的关联，减少了计算机的运算负担。此外，将问题间的相似度信息引入到知识点的预测过程中，增加问题节点之间的联系，以此提高后续知识点预测的准确性。