本发明涉及一种实时水面船只视觉跟踪系统及其方法，该系统包括用于获取图像的图像获取模块、卡尔曼滤波模块和自适应模块，所述卡尔曼滤波模块包括卡尔曼滤波更新模块和卡尔曼滤波预测模块；自适应模块根据图像的误差值将图像决定调用卡尔曼滤波预测模块或卡尔曼滤波更新模块进行不同的追踪流程。本发明提出的自适应模块，通过预测帧间误差以及误差的变化趋势，动态的调用卡尔曼滤波的预测与更新模块，相较于现有方法面对不同的应用场景拥有更强大的适应能力。