本发明公开了一种视觉目标跟踪自适应的模板融合方法，属于目标跟踪技术领域。发明通过计算响应图的极值和均值比值，用于判断是否进行模板更新，由于过滤掉目标响应程度较弱的帧，避免将一些质量较差的帧用于模板更新，从而提高了模板的质量，以取得更好的跟踪效果。本发明自适应计算模板融合系数，从计算公式中可知，与当前帧响应较强的模板会获得更大的更新权重，既进行了目标状态的更新，又减小了目标模糊、遮挡(此时与当前帧响应较弱，更新时的权重小)对模板的污染，对于视频数据的利用更加充分，有效抑制目标跟踪过程中的目标形变和背景对模板污染的问题，提高了跟踪过程中的模板质量。