本发明公开了一种基于多模态神经网络的变压器健康状态评估方法，包括：采集各变电站中变压器的油中气体和红外图像；对采集的信息进行数据清洗和数据归一化，得到多模态矩阵；将多模态矩阵按比例划分为训练集和验证集；构建基于一维卷积神经网络和深度残差神经网络的多模态神经网络，输入训练集和验证集进行网络训练；利用实时采集的数据经过滤波后得到可训练的数据，进行健康状态评估和网络参数的更新。本发明利用一维卷积神经网络从油中气体数据中提取文本特征，深度残差神经网络从红外图像中提取图像特征，由稀疏注意力机制从文本特征和图像特征中获得电力变压器统一表征，并得到变压器的健康状态。该神经网络具有准确的评估性能和稳定的鲁棒性。