本发明公开了一种基于非配对数据的可见光红外目标跟踪训练方法及装置，方法包括获取不成对的可见光图像和热红外图像，并生成候选样本；利用候选样本对可见光红外跟踪器进行训练，可见光红外跟踪器包括依次连接的模态特定模块、模态共享模块、模态自适应注意力模块和模态适配模块，模态特定模块包括第一模态特定网络和第二模态特定网络，可见光图像作为第一模态特定网络和模态共享模块的输入，热红外图像作为第二模态特定网络和模态共享模块的输入，第一、第二模态特定网络的输出分别与模态共享模块的输出融合后作为模态自适应注意力模块的输入。本发明摆脱了对大规模配准数据的依赖，提升目标跟踪性能。