本发明公开了一种基于联合训练的端到端鲁棒语音识别系统，包括语音增强模块、语谱补偿模块、语音识别模块和联合训练模块；所述语音增强模块，用于去除语音中的部分干扰信号；所述语谱补偿模块，与所述语音增强模块相连接，用于获取语谱补偿的权重矩阵λ，利用该权重矩阵λ实现语谱补偿；所述语音识别模块，与所述语谱补偿模块连接，主要用于预测整个语音对应的文本序列；所述联合训练模块，用于联合优化语音增强模块、语谱补偿模块及语音识别模块。本发明的基于联合训练的端到端鲁棒语音识别系统，使得增强后的语音更加保真，提高了端到端语音识别系统的性能，进而提升了语音识别的鲁棒性。