本发明涉及语音数据处理技术领域，具体涉及一种基于角色识别的语音识别系统，包括：采集模块，用于采集谈话人与被谈话人的谈话语音；提取模块，用于根据谈话语音提取声纹特征；聚类模块，用于根据第一特征与第二特征将谈话语音分为谈话人对应的第一语音与被谈话人对应的第二语音；纠正模块，用于判断第一时延的标准差与第二时延的标准差是否均小于时延阈值：如果第一时延的标准差与第二时延的标准差均小于时延阈值，发送输出结果的指令到输出模块；反之，发送重新聚类的指令到聚类模块；输出模块，用于输出第一语音与第二语音。本发明解决了通过声纹特征进行说话人角色识别准确率低的技术问题。