本发明涉及一种人工智能技术领域，提供一种基于双模态模型的语音识别方法、装置、电子设备及计算机可读存储介质，其中方法包括：对将嘴部视频片段进行切分，切分后的数据包括视频流数据、音频流数据、以及文本数据；对视频流数据、音频流数据以及文本数据进行预处理，分别获取对应的图片序列数据、音频序列数据以及标准文本；通过构建的双模态模型对图片序列数据、音频序列数据进行特征提取，获取对应的图片序列特征向量、音频序列特征向量，并将图片序列特征向量与音频序列特征向量拼接在一起形成双模态特征向量；训练双模态模型；通过训练后的双模态模型识别用户的意图。本发明主要目的在于通过双模态模型识别用户唇部动作提升语音识别准确率。