一种针对复杂背景的尺度自适应目标跟踪方法，包括以下步骤：1)给定初始帧待跟踪的目标前景区域Rt，在目标周围选择一定大小区域作为目标的背景区域；2)在目标背景区域采用随机扰动的方法选择一定量的目标背景候选区域Rb；3)计算目标背景候选区域的距离矩阵S，该矩阵的任一元素S(i,k)表示第i个背景候选区域和第k个背景候选区域的距离，然后通过AP聚类算法选择n背景候选区域的中心作为目标的背景区域；4)将步骤3)选的目标背景候选区域和目标前景特征提取；5)构建训练样本；6)构建相关滤波器；7)目标跟踪，利用6)中求解的w实现目标跟踪。本发明精确度较高且鲁棒性较好。