本发明公开了基于全卷积孪生网络多层特征的模板更新目标跟踪算法，具体为：构建整体网络并进行训练；使用训练好的网络对即将进行跟踪的视频图像序列进行初始化跟踪设置，得到初始目标模板与目标的初始位置信息；进入正常跟踪流程，得到当前帧的跟踪结果响应图；使用基于标准互信息的模板更新条件判断方法判断当前跟踪结果是否可靠，若可靠则更新模板，若不可靠则不更新模板，若保留的可靠跟踪结果达到2个，则用最新的结果替换最老的结果；使用最新模板对当前跟踪到的视频帧后续的视频图像序列继续进行正常跟踪；重复步骤3～步骤5，直至跟踪完毕所有视频图像序列，由此得到视频每一帧中目标所在位置，跟踪任务结束。