本申请实施例提供了一种语音识别系统的训练方法和装置、语音识别方法和装置，应用于语音识别技术领域。该方法包括：对目标说话人的音频数据进行关键特征提取，得到音频数据的声学特征；根据声学特征和预设的训练样本集，提取训练样本集的声纹特征；将声学特征和声纹特征合并，得到融合声纹特征；基于训练样本集和融合声纹特征训练声学模型的卷积神经网络模块，得到训练后的声学模型；依据训练样本集对已构建的语言模型进行训练，得到训练后的语言模型。本申请实施例实现了声纹特征自适应的语音识别系统的训练，解决了现有技术语音识别准确率不高的问题。