本发明公开一种针对视频图像故障的智能分类处理方法和系统，在摄像头厂家针对确定类型的常见视频质量问题，通过适当技术自动获取视频质量问题的相关高度实时模拟前提下，应用本发明方法能正确建立视频质量问题的分类模型，并应用于实时检测中。本发明的目的在于提供一种解决上述既针对视频直接处理，并适当利用中值滤波技术把视频帧转换为一副幅摄像头监控的背景图，利用直方图计算抓取背景图的分布特征，然后利用直方图相似度把背景图判断数据减少为有限的相似度数据，减少嵌入式智能有限资源的中间判断数据量存储问题；最后利用概率神经网络训练视频质量判断分类，解决针对视频直接判断故障现象的智能模型。