本发明公开了一种基于自适应卷积的跨模态视觉跟踪方法及装置，属于计算机视觉技术领域，包括：输入一对配准的多模态图像，通过自适应卷积模块，在每一层卷积之后生成对应于特征图大小的权重张量，逐像素的对不同模态间的输入进行自适应融合，通过将融合结果与单个输入模态特征再次进行两个模态特征的自适应融合，实现跨模态信息交互和单个模态信息增强；根据每个视频的第一帧收集样本微调全连接层以应对特定于实例的挑战；最后送入全连接层的最末层进行二分类操作，来得到最终的预测结果。通过将融合结果与单个模态的特征执行自适应融合操作，实现模态间的特征互补，进提高跟踪模型性能。