本发明公开一种基于交叉注意力的大坝缺陷图像文本跨模态检索方法，包括：1)文本‑图像特征提取；2)文本‑图像交互特征提取，将图像特征图和文本特征向量输入到交叉注意力模块，提取每个图像特征图和整段文本的交互特征矩阵；3)文本‑图像特征图全局相似度计算，将交互特征矩阵使用余弦相似度计算得到相似矩阵，然后从文本检索和图像检索两个任务出发分别计算全局相似度，文本检索任务中，计算全局相似度时质量较高的图像特征图赋予更高的权重；4)最小化损失函数优化训练结果：采用改进的铰链三元排序函数作为损失函数，最小化排序函数来优化训练结果。本发明在大坝图像检索文本和大坝缺陷描述文本检索图像任务中取得了较好的检索效果。