本发明公开了一种机器视觉特征跟踪系统，包括基准目标特征提取单元、待定目标特征提取单元、相似度分析单元、目标特征确认单元及特征更新单元；基准目标特征提取单元包括图像获取模块、特征提取模块、特征关联模块及基准目标特征输出模块；特征提取模块包括特征识别子模块、特征裁剪子模块、第一超分重建子模块及透视变化处理子模块；待定目标特征提取单元包括图像采集处理模块及特征自动标注模块。本发明可以实现目标特征识别的精确度，且可以利用强化学习及深度神经网络技术对待定候选目标图像中的特征进行自动标注，使模型以更贴近人类大脑的学习方式来达到快速准确地实现目标特征的自动标注，能够有效地提高运动目标跟踪的准确度。