本发明公开了一种多说话人、多语言的语音合成方法，包括提取语音声学特征；将不同语言的文本处理为统一的表征方式，并将音频和文本对齐，获取时长信息；构建说话人空间和语言空间，生成说话人id和语言id，提取说话人向量和语言向量加入到初始语音合成模型，采用对齐后的文本、时长信息和语音声学特征对初始语音合成模型进行训练，得到语音合成模型；对待合成文本处理后生成说话人id和语言id；将说话人id、文本以及语言id，输入到语音合成模型，输出语音声学特征并转换为音频。还公开了一种系统。本发明实现了对说话人的特征以及语言特征的“解纠缠”，并且只需要变换id就可以实现说话人或语言的转换。