本发明公开一种基于时空信息融合的目标跟踪方法，具体步骤包括：选择特征提取网络、使用目标外观特征进行跟踪的基跟踪器、使用目标运动特征进行预测的位置预测模块；获取跟踪视频，在视频的第一帧选定目标所在区域并提取该区域的深度特征；使用基跟踪器获得基于目标外观特征的跟踪结果；使用位置预测模块获得基于目标运动特征的跟踪结果；分别提取这两个跟踪结果的深度特征，度量它们和第一帧目标深度特征的相似性，取相似性最大的作为最终的跟踪结果。本发明能够根据不同的场景自动切换对目标外观特征和对目标运动特征的利用，提升了跟踪方法的鲁棒性。