一种多模态融合的话者角色区分方法与系统，方法包括：步骤1：分割视频，分割后得到音频信息和视频信息；步骤2：音频信息分析，截取音频信息中出现语音特征的语音片段，记录所述语音片段的时间节点，并提取语音片段的声纹特征用于角色区分；步骤3：视频信息分析，跟踪分析视频信息中各角色的说话特征信息，所述说话特征信息包括头部状态信息、口罩信息和嘴巴状态信息。一方面利用音频信息，提取音频特征，并基于音频特征进行说话人转换检测，然后提取声纹特征用于话者角色区分；另一方面利用视频信息，分析视频中说话人的头部状态、口罩和嘴巴状态，对视频中人说话的起始时间进行判断；最后融合两种检测结果得到更准确的角色区分结果。