本发明公开了一种利用时序信息的目标跟踪方法，涉及图像处理和计算机视觉领域。该方法使用的方法关键步骤分为如下两个阶段，其中第一阶段输入第一帧与搜索帧，第二阶段输出目标在搜索框上的位置。本发明在特征提取阶段使用非对称卷积模块，选择三种不同形态的卷积核共同使用提升了模型对图像翻转和旋转的鲁棒性，提高网络的抗旋转鲁棒性。在候选框精修中，使用双径候选框分类回归网络，分类支路与回归支路分别处理候选框的分类结果与精修后的候选框，相比单纯依赖卷积网络或全连接网络的网络，进一步提高了结果精度。同时利用时序信息进行目标跟踪后处理，选择更加契合之前结果的跟踪框，减少错误跟踪目标的情况发生。