本公开提供了一种话者分离方法、装置、电子设备及存储介质，涉及计算机技术领域，尤其涉及语音处理、智能客服技术领域。具体实现方案为：对目标音频的第一音频片段进行人声判定，得到多个人声片段；提取各个人声片段的话者特征；基于各个人声片段的话者特征之间的特征相似度，对人声片段进行聚类，得到话者片段集合和非话者片段集合；针对非话者片段集合包含的每个人声片段，计算该人声片段与各个话者片段集合的特征相似度，从中确定特征相似度最大值，若特征相似度最大值大于预设的相似度阈值，将该人声片段划分至特征相似度最大值对应的话者片段集合。能够实时、快速对目标音频进行话者分离，在说话人较多情况下仍有良好的话者分离效果。