本发明提供了一种基于改进神经网络的铸件缺陷X射线图自动识别法，属于材料铸造和缺陷图像目标检测领域。本技术方案采用卷积生成对抗网络模型，完成数据集的图像特征增强。采用图像标注工具，完成对铸件缺陷数据集的缺陷标注。改进目标检测YOLOv5模型的网络结构，加入注意力机制，改进损失函数进行模型训练。使用训练集对模型进行训练，最终对比多种改进网络模型，以影响神经网络模型质量的准确率、召回率等因素为评价指标，获得YOLOv5‑MNv2‑SE4模型，利用该模型对铸件图像进行检测并识别缺陷种类和位置坐标。本发明能够有效的增强样本图像的缺陷特征，提高对小目标物体识别的准确率。