本发明实施例提供一种普通话和四川话的混合语音识别模型的训练方法。该方法包括：确定混合训练音频数据的特征、基于音素的数据对齐和基于汉字的数据对齐，确定为训练用的输入数据；输入至N层公共中间层，第一任务层计算第一损失函数，第二任务层计算第二损失函数；基于第一损失函数训练N层的第一任务层，基于第二损失函数训练N层的第二任务层，基于训练后的第一神经网络参数以及训练后的第二神经网络参数进行多任务训练，训练N层公共中间层。本发明实施例还提供一种普通话和四川话的混合语音识别模型的训练系统。本发明实施例将音素和汉字作为多任务联合训练的任务，提高对普通话、四川话的识别性能，减少资源占用。