本发明提供一种基于视觉驱动的文本转语音的方法，属于文本转语音技术领域，本发明将文本转语音模型的输入扩展为不仅输入文本，而且输入面部视频，生成并输出与视频帧相匹配的语音，生成的音频不仅仅与视频同步，而且保留了与视频相同的韵律与停顿，并且可以从视频信号中推断停顿与声音的变化，该方法可以应用于制作高质量的拼音视频，而无需耗费大量的人力物力在专业环境中重新录制配音。给定说话者的文本和对应的视频帧，模型经过训练，模型并不是只关注嘴巴的区域，而是提取全脸的视觉信息语文本信息相匹配，从而生成语音。