本发明公开一种分离说话人音频的方法及装置。在该方法中，音频采集设备获取音频数据集；确定所述音频数据集中各个音频数据所对应的声源角度；根据所述音频数据的声源角度，从所述音频数据集中筛选对应声源角度在第一设定角度范围内的第一音频数据子集和对应声源角度在第二设定角度范围内的第二音频数据子集，其中所述第一音频数据子集和所述第二音频子集分别用于确定对应第一说话人和第二说话人的音频数据。由此，在前端区分不同说话人的音频数据，无需后台设备进行特征相似度比对处理，可以降低后台设备的处理压力，能够在大范围业务场景下适用。