本发明提出了一种基于概率生成和非自回归模型的多说话人语音合成方法，包括：S1、说话人个性化编码器和概率生成编码器接收目标梅尔频谱并分别提取说话人个性化向量和概率生成向量；S2、基于深度网络的编码器对拼接融合的输入向量进行编码得到音素级深层特征；S3、音素时长预测器接收拼接融合的融合特征并预测音素时长序列；S4、长度规整网络接收音素时长序列并对融合特征进行扩展，得到帧级特征；S5、基于深度网络的解码器接收帧级特征并映射为预测梅尔频谱，后处理网络补充预测梅尔频谱的残差信息；S6、声码器将补充了残差信息的预测梅尔频谱映射为声音波形，得到合成语音。本发明能够提高多说话人语音合成系统的泛化性和合成语音的相似性。