本发明公开了一种基于光谱特征的视觉追踪方法。具体步骤如下：(1)输入第一帧图像及其对应的光谱数据信息到CSK追踪器中；(2)在频域范围内求解系数；(3)进行检测之前对图像块进行加窗预处理；(4)提取目标的光谱特征；(5)简化光谱维特征；(6)将降维后的光谱维特征输入到CSK追踪器中进行训练；(7)将后续图像帧中的图像块输入到追踪器中，检测输出分值，找到使输出分值最大的位置即目标所在的位置；(8)利用当前检测帧的光谱特征重新训练跟踪器，更新追踪器的参数后，重复步骤(7)对后续图像帧继续检测。利用本方法无论是在帧率上还是追踪准确程度上均能取得比较好的效果，可以有效应对由于遮挡和光照变化带来的挑战。