本发明公开一种基于策略梯度的目标跟踪方法与系统，属于计算机视觉领域。方法包括：(1)将目标图像输入到卷积神经网络中，得到目标外观模板Z；(2)将搜索图像输入到卷积神经网络中，等到搜索区域特征图；(3)将模板图像Z和搜索区域特征图通过相似度度量函数f计算得到响应图ht；(4)将(3)中得到的响应图ht和历史响应图hi输入到策略网络中，选择分数最高的那个动作加入到集合Ct(i＝1～N)；(5)重复(4)直到遍历响应图模板池中的每一个历史响应图；最后执行集合Ct(i＝1～N)中出现次数最多的那个动作。所述系统包括跟踪器和决策器。避免了错误的模板更新，并在目标丢失的时候能够及时发现并重新找到目标。