本发明公开了一种融入语义的语音情感识别方法，涉及语音情感识别技术领域。本发明包括如下步骤：计算机将视频输入到基于层次注意力机制的模型中学习面部情感显著特征；计算机将音频信号输入到频域注意力机制导向的卷积网络中学习显著频域情感特征信息；计算机将文本词向量输入到语义情感特征提取网络学习显著话语文本情感特征；计算机利用多模态注意力机制将音频情感特征和语义情感特征融合。本发明通过融合语义和语音的CNN的神经网络模型框架An‑Net，实现在复杂场景中，准确识别出特定人员语话及语音中的情感情绪，通过采用层次注意力机制导向下多模态情感识别模型。