本发明提供一种基于时间建模生成对抗网络的语音增强系统，属于语音信号处理技术领域，包括：数据获取单元，用于获取带噪语音信号，并对所述带噪语音信号进行降采样；信号增强单元，用于将所述带噪语音信号输入基于时间建模的生成对抗网络，压缩并提取语音信号的全局时域特征，将所述时域特征与随机噪声链接为一个特征向量，对所述特征向量进行解码，得到增强的语音信号。本发明解决了语音时域特征的时间依赖性和全局性考虑不足的问题，降低语音信号中的噪声影响，从而提高了增强后语音的听觉质量。