本申请提供了一种识别情感语音的方法和装置，所述方法包括：获取待识别语音信号；根据预处理规则对所述待识别语音信号进行预处理，获取多帧预处理语音信号；基于每帧预处理语音信号获取对应的所述语谱图信号；分别将所述语谱图信号输入具有第一优化参数的第二网络模型，获取对应的情感语音类型；其中，所述第二网络模型，包括：用于从所述语谱图信号中提取情感语音特征并降维的第一子网络，以及用于加速算法收敛并对所述情感语音特征分类的第三子网络。本申请用CNN网络模型从语谱图中提取特征，让LSTM网络模型对这些特征数据进行时序建模。增强了情感识别在开放环境下的准确性、鲁棒性。减少了网络处理量及算法复杂度，适合算法在嵌入式设备运行。