本发明公开了一种基于光流和动态级联RPN的目标跟踪算法，其步骤依次为：自适应视频采样、构建光流特征模块、多类特征融合、构建动态RPN结构、构建跟踪框架。本发明使用光流特征来获取时序信息，解决局部遮挡问题和相似物干扰问题；通过融合各种特征来提高模型的鲁棒性，完成复杂背景下的目标跟踪；通过增加约束条件来优化算法的运行速度，并且利用动态规划方法进一步提高算法的实时性；自适应视频采样方式，既能解决固定采样间隔方式不能批量训练的问题，又能解决固定采样总帧数方式破坏光流约束的问题；结合光流信息和外观信息建模，融合语义特征、光流特征和低层融合特征，提高模型的判别能力，使其能在复杂背景下成功跟踪目标。