本发明公开了一种基于视觉图像的永磁驱动电机退磁故障诊断模型构建方法及故障诊断方法和系统，其中，本发明所述方法将电机表面漏磁信号作为故障诊断的原始信号，并将其转换为二维傅里叶频谱图，进而提取全局特征和局部特征并进行融合。最后利用融合后的特征构建分类器，尤其是优选softmax分类器进行故障诊断。本发明采用二维傅里叶变换将一维时域信号转换为频谱图，展现了时域信号中隐藏的有效故障特征；并通自编码器方法提取图像的视觉特征提升了特征的有效性，采用结构简单计算量少的softmax分类器进行故障诊断，有效地解决了电动汽车用永磁驱动电机退磁故障诊断难题。