本发明属于视觉语音识别技术领域，涉及一种基于自适应矩阵特征融合网络的唇语识别方法、装置及电子设备；所述方法包括将视频按时间先后顺序转换为唇语图像序列并预处理；采用三维卷积神经网络提取出图像序列的时空特征信息；采用深度残差网络提取出唇语图像五个层次的空间特征信息；对五层空间特征信息采用基于图模型的自适应矩阵的特征融合结构进行处理，得到特征融合后的五层唇语特征信息；使用自注意力机制对五层唇语特征信息的权重进行学习，利用学习到的权重将五层唇语特征加权输入到时间卷积神经网络，输出唇语识别结果；本发明解决了数据尺度不一的问题，能有效防止因输入尺度不一问题所导致的特征信息丢失以提升唇语识别效果。