本发明涉及一种基于混合支持向量机的说话人识别的方法，是为每个说话人建立一个混合支持向量机模型，首先对每个说话人的语音进行特征提取，然后将每个说话人的所有训练样本数据采用聚类方法进行分区，每个区训练出一个支持向量机，在训练支持向量机的过程中，正样本为该说话人在这个分区里面的样本，负样本为冒认者的语音特征向量；在识别阶段，一条新的语句的每帧的得分值要综合所有支持向量机的输出，可以分别采用距离和概率两种方式得到。本发明有益的效果是：采用多个支持向量机混合的方法，在说话人识别上获得比采用单个支持向量机更好性能，同时其性能也优于相同高斯分量数目的高斯混合模型。