本发明涉及多模态识别领域，具体为一种用于驾驶员情绪判断的多模态情感特征识别方法及系统，其核心的方法在于，通过识别模块对上述信息进行识别，其中包括对上述视觉信息及语音信息进行数据预处理，分别形成视觉识别信息和语音识别信息；将上述视觉识别信息和语音识别信息分别输入视觉下人脸表情特征识别模型和语音情感特征识别模型，分别得到视觉特征向量和语音特征向量，将视觉特征向量和语音特征向量输入双模态情感特征识别模型，获得决策级融合的情感识别结果。该方法有效解决传统算法中多模态特征的代表性不足和融合算法冗长的技术问题。