本申请提供了一种音频处理方法和装置，该方法包括：获得待处理的目标音频以及待识别用户的基准音频；基于目标音频中具有的音频间隔端点，将目标音频划分为至少一个音频段；针对每个音频段，将音频段切分为多个第一音频切片，从多个第一音频切片中确定出第一参照音频切片，并基于第一参照音频切片确定出多个第一音频切片中的第一主音频切片集；基于音频段对应的第一主音频切片集的音频特征以及基准音频的音频特征，从至少一个音频段中确定出属于待识别用户的音频段。本申请的方案可以提高从音频中识别属于特定用户的音频段的准确度。