本发明公开一种复杂环境中多人语音的分割聚类方法及系统，方法包括：根据多人说话音频获取多段连续的多人说话语音片段音频。根据声学特征对多人说话语音片段音频归一化获取归一化音频。获取多段待处理音频。提取多段待处理音频的声纹信息特征。对所有待处理音频段之间通过设定打分准则获取打分数。根据所有待处理音频段之间的相似度分数，通过多阶段冗余聚类算法获取多个人的类别标签。根据多个人的类别标签对多人说话音频分割聚类。使用冗余聚类方法可以提升目标说话人的聚类的中心更加分散，区分度更强。对于复杂环境下，目标说话人不清晰的语音片段，也有更好的判别能力，从而降低复杂环境下分割聚类任务中的说话人分类的分类错误。