本发明公开了一种抗对抗样本攻击的语音识别模型训练方法，包括以下步骤：A：选取由语音文件组成的数据集，B：对语音文件进行采样得到采集张量；C：对采集张量提取特征张量；D:将特征张量、语音文件对应的中文字符以及训练参数输入卷积神经网络模型，结合声学模型与语言模型使用CTC函数将输出张量映射为在每个时间步输出不同中文字符的概率，然后选取概率最大值转录出对应的中文字符作为实际输出值；最后求取目标值与实际输出值的偏差值记为loss；E：使用反向传播方法更新卷积神经网络模型的权值参数，在更新权值参数的同时对输入卷积神经网络模型的训练参数进行更新。本发明能够减少训练计算量和训练时间，提高抵抗恶意攻击的能力。