本发明公开了一种基于深度学习的红外运动目标识别方法，在Yolo V4骨架网络的每一个残差块中加入注意力模块，三个预测分支中，每个预测分支的最后一个卷积层之前也加入注意力模块；对于输出的特征图，每一幅都在空间维度上进行全局平均池化和最大池化，结果分别输入权值共享的三层全连接网络，得到一维的通道注意力；对于卷积层的输出，在通道维度上进行最大池化和平均池化，将两者在通道维度上相连，输入卷积层，结果经过损失函数，得到单通道的二维空间注意力；通道注意力和空间注意力先后与特征图相乘，得到优化后的特征图。本发明在卷积神经网络中加入了注意力模块，有效增强网络对有效特征的敏感度，方便嵌入已有网络。