本发明提供了一种基于图像识别的轨道缺陷检测系统和方法，用以解决现有技术中无法对轨道进行全面检测、检测效率低的问题。所述缺陷检测方法，首先现场采集正常情况下轨道表面图像，利用深度学习算法对图像数据进行分类，作为标准图像，储存在控制器中；检测小车在轨道表面运行，编码器产生脉冲信号作为触发信号进行图像的实时采集，并对实时图像进行预处理后，再利用深度学习目标检测算法进行图像识别，生成最优图像，并与预存的标准图像进行对比，判断当前轨道表面是否存在缺陷。本发明快速、准确地识别出轨道表面是否存在缺陷、以及缺陷类型、缺陷位置和时间，检测结果精准、实时、高效、全面且智能化，提高了轨道检测的工作效率。