本发明提供了一种多目标跟踪方法、装置及系统，该方法包括：将输入图像分割，得到固定大小的patches；将分割后的patches序列化，获得一个一维的patch序列；对patch序列进行特征提取，获得向量序列；基于所述向量序列，获得重组特征图；基于多任务学习模型，对重组特征图进行目标关联，实现多目标跟踪。本发明提供的技术方案是基于Transformer的多目标跟踪，用Transformer编码器代替传统的卷积主干网络，克服了卷积在理解全局上下文方面存在的局限性，同时使得遮挡具有很强的鲁棒性，当一个目标几乎被完全遮挡时，本发明仍然可以准确地对其进行跟踪。另外，本技术方案基于多任务学习模型，可以在单一共享网络中同时输出目标检测结果和外观嵌入，显著节省了多目标跟踪的计算量。