本发明提出了一种基于DS证据理论的多模态实时情绪识别方法及系统，该方法包括：步骤一，搭建虚拟现实场景，部署语音对话模块和面部表情识别模块，被试者通过语音对话模块进行实时语音对话，并通过虚拟现实头戴式设备同步采集被试者语音数据、人脸数据和瞳孔数据；步骤二，在语音数据上提取特征向量，输入到训练好的语音情绪识别模型，输出语音情绪识别结果；步骤三，在人脸数据上提取人脸几何特征向量，融合瞳孔直径特征，输入到训练好的面部表情情绪识别模型，输出面部表情情绪识别结果；步骤四，将语音情绪识别结果和面部表情情绪识别结果通过DS证据理论融合得到综合情绪识别结果。本发明能有效提高情绪识别的准确率，具有广泛的应用前景。