本公开提供了一种跨模态数据的匹配方法、装置，具体实现方案为：获取训练样本集，其中的训练样本包括第一模态数据、第二模态数据和表征多模态数据之间是否匹配的标签；分别提取训练样本中的第一模态数据和第二模态数据的第一层级特征信息和第二层级特征信息；以匹配损失函数约束第一模态数据与第二模态数据之间基于第一层级特征信息得到的匹配结果，和基于第二层级特征信息的匹配结果，以分类损失函数约束分别基于第一模态数据的第一层级特征信息、第二层级特征信息得到的分类结果，和分别基于第二模态数据的第一层级特征信息、第二层级特征信息得到的分类结果，训练得到跨模态匹配模型。本公开提高了跨模态匹配模型的匹配速度和准确度。