本发明公开了一种基于无监督跨模态的行人重识别方法，包括以下步骤：S1、使用具有跨模态标签的源数据集预训练一个局部特征提取网络；S2、使用S1预训练好的局部特征网络初始化单模态聚类跨模态匹配框架的三个网络；S3、使用负责单模态的网络提取模态特定的特征用于单模态聚类；S4、使用负责混合模态的网络输出模态共享的特征计算聚类中心，并进行不同模态聚类的匹配和融合，得到新的伪类标；S5、利用得到的伪类标，使用三元组损失对这三个网络同时进行有监督训练；S6、重复步骤S3至S6多次，直到伪类标被更新15次。本发明不仅考虑了域差异的问题，也考虑了模态差异的问题，从而学习得到跨模态跨域的具有鲁棒性的特征。