本申请公开了一种基于相似度度量的模型漂移抑制方法及其装置，该方法包括以下步骤：步骤S100：根据初始化帧得到相关滤波跟踪算法中参数；步骤S200：对初始化帧中的目标位置和目标尺度进行采样，提取初始目标特征，提取跟踪t时间后，第i帧图像中框选目标的特征，计算框选目标与初始目标的相似度，进行相似度判断；步骤S300：如果更新目标集，则根据更新阈值β对训练模型进行更新。该方法设定固定数量的目标集，将跟踪过程中跟踪算法获得的目标块，经相似度度量判断后，确定是否更新目标集和模型，从而避免由于模板更新导致的模型漂移现象的发生。本发明的又一方面还提供了一种基于相似度度量的模型漂移抑制的装置。