本发明公开了一种基于视觉显著性的干扰感知跟踪算法，包括以下步骤：S1、输入视频图像；S2、用梯度方向直方图特征表征图像中的待跟踪目标的外观模型，并计算梯度方向直方图扰动模型；S3、计算输出响应和上下文感知相关跟踪响应；S4、加权融合得到目标加权响应，最大响应所在位置即待跟踪目标所在位置，并估计目标尺度与位置变化；S5、当待跟踪目标被遮挡时，计算视觉显著性图，根据候选目标位置估计待跟踪目标位置；S6、根据待跟踪目标情况更新外观模型和扰动模型；S7、输入下一帧图像，返回至步骤S1。本发明可解决现有目标跟踪方法中易受光照变化、低分辨率、尺度变化、遮挡、相似目标和嘈杂背景等影响跟踪效果的问题。