本发明公开一种基于历史轨迹信息和细粒度匹配的孪生网络目标跟踪方法，包括：步骤1，预训练全卷积特征提取网络；步骤2，选训练轨迹预测器；步骤3，获取视频序列，采用全卷积特征提取网络提取视频序列的深度特征并通过细粒度匹配方式分解成一组细粒度的卷积核，对卷积核组做划窗操作得到相匹配的响应图，从而得到目标跟踪结果；步骤4，将当前帧以前8帧的跟踪结果作为当前帧的历史轨迹信息输轨迹预测器中以预测出目标在当前帧跟踪结果；步骤5，将步骤3得到的目标跟踪结果和步骤4的跟踪结果进行加权融合得到最终的跟踪结果。本发明解决了现有孪生网络目标跟踪方法容易受到严重遮挡,相似目标干扰以及较大形变等原因导致跟踪失败的问题。