本发明公开了一种机车轮对踏面剥离识别方法，包括采集踏面剥离图像构建正样本图像样本集，采集未踏面剥离图像样本构建负样本图像样本集，对正样本图像样本集和负样本图像样本集进行人工标注获得真实框；利用聚类算法对真实框进行聚类处理，获得特征值；利用yolo神经网络，根据特征值将正样本图像样本集和负样本图像样本集进行特征提取获得先验框自动筛选先验框，将含有剥离情况的先验框进行分类和回归预测，得到分类损失和位置损失；利用误差反向传播算法离线训练分类损失和位置损失进而优化神经网络中的权重参数。本发明基于yolo神经网络进行训练和检测，检测速度快，准确率高，仅通过图片和录像就能进行检测，极大的节约了资源和时间成本。