本发明公开了一种基于融合相似度的深度跨模态哈希方法，包括：1)图像特征提取，文本特征提取，对标签信息构建标签集合；2)分别对提取到的图像特征和文本特征计算图像相似度矩阵和文本相似度矩阵，同时也对标签集合建立标签相似度矩阵；3)基于计算得到的图像相似度矩阵、文本相似度矩阵和标签相似度矩阵建立融合相似度矩阵；4)使用改进的最大化间距的量化机制，结合融合相似度矩阵，建立误差损失函数，监督哈希码的训练。本发明方法能够深入挖掘不同模态数据之间的语义相关性，同时加入改进的量化机制，从而让算法生成更具判别性的哈希编码，实现更高准确度的检索。