本发明提供了一种基于多层时序滤波的目标跟踪方法，涉及计算机视觉模式识别技术领域。步骤一、从初始图像中选择并确定要跟踪的目标对象，步骤二、多层时序滤波网络包括并列的两个基础时序网络，记为基础时序网络1和基础时序网络2，它们具有相同的网络结构；步骤三、多层时序滤波网络训练，采用Adam优化方法训练，所述多层时序滤波网络具备目标定位能力；步骤四、提取视频图像作为要进行跟踪的输入图像；按照时间顺序，逐个提取帧图像作为输入图像；步骤五、通过基础时序网络1对目标位置进行初步的估计；将步骤一中的初始图像作为Ft，将当前输入的帧图像作为Ft+1。步骤六、通过基础时序网络2对目标进行准确的定位。