本发明公开了一种面向交通设施巡检的视觉缺陷在线检测方法，包括离线训练和在线巡检两部分。离线训练时采用带有包围框和类别标注的缺陷数据集作为训练数据，训练CrackDet检测模型，结合深度学习算法和传统算法的优势；同时裁剪出不同种类的缺陷图像块，使用度量学习模型进行训练。在线巡检时，对于输入的视频帧，使用检测模型检测得到缺陷类别和位置；使用卡尔曼滤波器计算检测框的运动特征；使用度量学习模型计算缺陷的外观特征；对检测到的缺陷进行跟踪并统计；根据跟踪轨迹中检测得到的类别进行投票确定其缺陷种类；最终实现在线巡检，得到交通设施巡检时所出现的缺陷的种类、大小、位置以及数量。