本发明涉及一种基于视觉神经网络的外观缺陷智能识别系统及识别方法，属于图像数据处理技术领域。其包括巡检装置，巡检装置包括底座，底座上安装有若干层的升降单元，且每层升降单元的边侧滑动安装有视觉采集车；升降单元包括升降柱、升降座，以及位于升降座与升降柱之间的高度调节机构；视觉采集车，包括U型的车体、以及安装于本体上伸缩轮和感知终端。本发明利用RGB色彩分离先对图像进行单一色彩通道处理，挑选得到该变电设备最佳表现方式；利用提出的缺陷等级演变算法得到纹理变化率；利用历史图像数据得到一个或多个缺陷等级形成的合集，作为视觉神经网络的训练模型；整个方法区别于现有的训练方式，更符合变电设备的识别要求。