为了解决大幅度相机移动下的多文字追踪，本发明提出了一种基于布局约束的视频文字追踪方法。该方法的输入为视频和视频帧的文字检测结果，输出为文字追踪后的轨迹信息。首先，通过初始视频帧的检测结果进行文字轨迹的初始化，然后将上一帧的文字轨迹与当前帧的检测结果送入本发明的追踪方法中进行文字轨迹的更新。文字轨迹更新的核心是将当前帧检测到的文字区域对应到已有的文字轨迹，该过程可以视为一种数据匹配问题。本发明针对此问题设计一个新的数据匹配代价函数，通过求解代价函数的得到最佳匹配结果。经过重复轨迹更新过程直到视频处理结束，最终得到文字追踪结果。本发明在数据匹配代价函数中引入布局约束，通过文字区域间的整体外观结构进行文字追踪，可以有效避免因为相机大幅度运动导致错误追踪结果，具有更好的追踪效果。