一种语音语料生成系统训练方法，包括发音人身份编码器训练、场景编码器训练、转换器训练，所述发音人身份编码器训练包括如下步骤：S11.搭建发音人身份编码器的初始网络结构；采集不同发音人的不同音频作为编码器训练样本；S12.将梅尔特征输入发音人身份编码器，获取每一条有效音频的发音人编码；S13.计算映射点形成的质心，S14.将损失函数得到的梯度反向传导，更新发音人身份编码器；S15.重复步骤S13‑S14进行反复迭代，直至发音人身份编码器收敛。本发明能够快速大批量自动生成不同场景、不同发音人、不同语速、不同音量的语音语料；并能针对性的对特定的场景补充场景语料，或识别率较低命令词的语料。