本发明公开了一种基于孪生网络的视觉目标跟踪方法，包括选择一个现有的孪生网络跟踪器；获取当前的模板池；计算各个模板的可靠性分数并从模板池中筛选出可靠模块集合；计算可靠模块集合中各个模板的匹配性分数并筛选出处理当前帧的最佳模板；采用最佳模板进行视觉目标跟踪。本发明提供的这种基于孪生网络的视觉目标跟踪方法，不需要重新训练网络，只需要进行额外的模板选择即可实现视觉目标跟踪，同时本发明还更新模板来提高跟踪精度；因此本发明方法不仅能够实现更好的跟踪性能，而且易于实施，可靠性高，有效性好。