本发明实施例提供一种基于说话人扩充的语音识别模型训练方法。该方法包括：接收语音训练集，将训练数据输入至音频编码器，确定训练语音中各说话人的深度特征；将各说话人的深度特征输入至说话人分类器，确定各说话人的声谱特征，建立说话人声谱网络；基于说话人声谱网络模拟新的说话人声谱，生成新的说话人的模拟语音训练集；基于语音训练集以及模拟语音训练集训练语音识别模型。本发明实施例还提供一种基于说话人扩充的语音识别模型训练系统。本发明实施例通过对说话人建模，建立说话人声谱网络，在声谱网络中采样出丰富的说话人信息，生成新的说话人语音，提升了语音训练集的多样性，提升了语音识别模型鲁棒性，降低了语音识别的词错率。