本发明公开了一种基于深度学习的无人驾驶语音识别方法及装置，所述方法包括：获取开源的中文语音数据集，提取语音数据集的语音序列；将得到的语音序列输入到深度卷积神经网络模型中，输出语音序列的特征向量；将深度卷积神经网络模型输出的特征向量输入到全连接层中进行降维，再输入到连接时序分类模块；通过连接时序分类模块得到全连接层输出的后验概率，依据后验概率得到语音数据库中匹配的语句；本发明采用双路卷积神经网络，将MFCC提取到的语音特征分两路分别输入到深度卷积神经网络模型中，既能够在深度方向提取网络重要特征，也能在宽度方向通过不同的卷积核提取重要特征，加强模型的非线性化程度，使网络模型具有更优越的拟合性能。