本发明公开了一种基于迁移学习的跨模态遥感图像的匹配方法，该方法利用迁移学习，将在有标签的跨模态遥感图像数据上学习到的度量准则，迁移到无标签的其他成像设备的跨模态遥感图像上，提高其匹配性能。网络同时输入有标签的跨模态遥感图像数据和无标签的跨模态数据。网络包含两个特征提取器，其参数部分共享，分别用于提取光学图像的特征和SAR图像的特征。训练阶段包含如下两个任务，第一是利用有标签的数据学习光学图像和SAR图像两种模态之间的度量准则，第二则是要混淆不同成像设备的同种模态数据。本发明能够有效地将在有标签的数据上学习到的度量准则，迁移到无标签的数据上，对无标签的跨模态遥感图像进行更高精度的匹配。