本发明公开了一种基于多模态的数字人信息处理用人机交互系统，涉及多模态人机交互技术领域，解决了现有技术中在多模态场景分析中无法对数字人进行感知分析和协同分析的技术问题，将对应多模态分析场景内数字人运行过程中产生的协同动作进行分析，判断数字人在多模态分析场景内的操作是否合格，从而判定对应多模态分析场景内的因操作人员动作不合格出现的问题，增强多模态分析场景运行的高效率；对多模态场景内数字人的感知进行分析，对数字人进行感知分析表示为数字人进行工序步骤操作时进行操作反应时长分析，判断数字人运行是否合格的同时判断工序步骤操作反应时长对工序步骤操作的影响，提高了多模态场景内运行的工作效率。