本发明公开了一种基于跨模态互注意力机制的图文匹配方法，该方法包括以下步骤：采用目标检测网络对图像语义特征进行提取，并采用中文预训练模型对文本语义特征进行提取；通过图文相似度计算模块对局部图像区域与文本中单词之间的cos相似度进行计算，得到注意力权重，同时对受图像注意力监督的文本向量进行计算；对受图像注意力监督的文本向量与局部图像的cos相似度进行计算，并通过求和与平均池化处理得到完整文本与完整图像之间的相似度；计算图文相似度的预测结果。本发明能够推断整个图像和完整句子之间的相似性，输出图像和句子间的相似度数值，实现图像局部到单词对齐的细粒度图文匹配。