本发明提供了一种基于时序预测的目标跟踪方法和装置，该方法包括：采集得到包含目标的视频帧图片；采用多个并行的LSTM模块组成时序预测网络，在时序预测网络中输入t‑1时刻的目标的运动状态变化量得到t时刻的目标的运动状态变化量，再结合t‑1时刻的目标的运动状态量得到t时刻的目标的运动状态量的时序预测结果；空间预测模型基于t时刻的待检测区域通过卷积神经网络提取出t时刻的图片特征，将图片特征进行相关滤波定位处理，得到t时刻的目标的运动状态量的最终预测结果。本发明通过将目标的时序模型和目标的空间模型相结合，将时序模型的输出转化为空间模型的输入，使得空间模型的待检测区域更加准确，能够获得更加高效、准确的目标定位结果。