本发明公开一种构建声学模型的方法，包括：预先训练门控残差DFSMN神经网络模块；顺序连接多个所述门控残差DFSMN神经网络模块；为所述顺序连接的多个所述门控残差DFSMN神经网络模块配置输入层和输出层构成所述声学模块。本发明实施例中首先预先训练门控残差DFSMN神经网络模块，然后再将多个顺序连接构成深度门控残差DFSMN网络作为声学模型。由于预先训练的门控残差DFSMN神经网络模块本身具备了多层DFSMN，因此得到的具有多个门控残差DFSMN神经网络模块的声学模型所包含的DFSMN层可达到上百层。而实际进行训练时只需要训练相对较小的门控残差DFSMN神经网络模块，最后通过堆叠的方式得到深度声学模型。因此既降低了训练学习的成本，同时还确保了最终所得到的声学模型的性能。