本发明提供了一种基于深度网络的目标追踪攻击与防御方法，获取被攻击目标跟踪器，输入待攻击的目标跟踪视频序列；确定待检测的正负样本及伪正负样本；根据正负样本及伪正负样本，分别计算样本及伪样本的对抗攻击损失函数，并计算损失函数对输入图像的梯度值反传至输入图像；进行多次帧内迭代，得到多次迭代的对抗样本；将对抗样本与输入图像进行差值计算，得到的结果即为该帧的对抗攻击扰动，将该帧的扰动作为下一帧的初始扰动，重复此过程，得到完整的对抗攻击视频序列。本发明通过在原视频序列上增加及减少人眼不易见的微小扰动，有效地降低及恢复了基于深度网络目标追踪器的追踪性能；应用于原始视频序列上，能够有效提升目标追踪的准确度。