本发明公开一种基于模态竞争协同网络的可见光红外目标跟踪方法及装置，方法包括：以所要跟踪当前帧的上一帧中目标预测位置为中心，生成第一候选样本集合；将第一候选样本集合输入至训练好的跟踪模型，得到当前帧的目标跟踪结果；跟踪模型包括特征提取网络和目标分类器；特征提取网络包括第一提取网络、第二提取网络和权重分配网络，第一提取网络和第二提取网络均包括VGG‑M的前三层卷积层，且每一卷积层中包含N个相同尺寸的卷积核形成卷积核组。通过引入卷积核组和多权重分配网络来生成多核动态协同的卷积核，利用卷积核组中包含的若干个卷积核，可以提取更多样的特征，达到良好的多模态视频跟踪效果。