本发明提出一种基于自适应上下文感知的目标跟踪方法，包括：初始化卡尔曼滤波器、位置相关滤波器和尺度相关滤波器；利用第t帧中的卡尔曼滤波器和位置相关滤波器分别对第t+1帧中的目标位置进行估计，并根据位置相关滤波器的跟踪置信度确定第t+1帧中的目标位置；利用第t帧中的尺度相关滤波器对第t+1帧中的目标尺度进行估计；更新卡尔曼滤波器；当跟踪置信度大于一定阈值时，利用最优目标区域的位置、尺度和高可信度的干扰背景区域更新位置相关滤波器，并更新尺度相关滤波器。本发明利用高可信度的干扰背景更新相关滤波器，提高了对目标及背景的辨别力，并在跟踪可信时才更新相关滤波器模型，减少了模型漂移和更新次数，提升了跟踪速度。