本发明公开了一种基于Transformer的电力设备故障检测模型，所述Transformer模型的训练数据来源于一预处理模型，所述预处理模型包括上采样模块和词嵌入表示学习模块，所述上采样模块用于将输入的不平衡电力设备数据转换为平衡数据；所述词嵌入表示学习模块用于将所述平衡数据进行嵌入表示，输出基于电力设备表示的历史状态序列和标签数据的嵌入表示；所述Transformer模型采用多头注意力机制，以所述历史状态序列和标签数据的嵌入表示为输入，进行训练生成电力设备故障检测模型。本发明使用Transformer框架，根据输入数据时间序列信息和时间位置信息，使用多头注意力机制进行多维度特征挖掘，提高电力设备故障检测模型的特征输入质量，进而提升模型的电力设备故障检测准确率。