本发明公开了一种基于外观多样性的生成对抗孪生网络目标跟踪方法，针对目标视频序列，在第一帧中给定目标初始状态，在后面的视频序列中估计目标的状态；首先针对第t帧，进行局部特征提取作为搜索区域；其中1＜t≤N，N为目标视频序列总帧数；然后将第t‑1帧中的目标模板与第t帧中提取的搜索区域进行滑动匹配，获得目标新的位置；最后根据目标新的位置和当前帧进行目标模板更新，将新的模板作为下一帧跟踪的目标模板。本发明有效的提高了跟踪器在面对目标外观变化时的鲁棒性，取得了较好的跟踪效果。