本发明涉及一种基于深度学习的钢坯自动语义分割识别方法，包括以下步骤：步骤S1、数据集准备，获得不同运动状态以及不同形态的钢坯图像，进行预处理和标注，建立原始数据集；步骤S2、构建语义分割网络模型；步骤S3、训练步骤S2中的语义分割网络模型；步骤S4、测试步骤，将待测图像输入到训练所得的语义分割网络模型，得到分割结果。本发明分割网络的骨干网络使用了轻量型网络，同时应用了非对称卷积和空洞卷积，在保持训练精度和推理速度的同时，获得了更大的感受野；其次通过多尺度特征提取和融合，加强了各级特征图之间的信息交互，提高模型的分割性能；最后在解码部分应用密集上采样策略，避免上采样时的信息丢失，进一步提高模型的分割精度。