本发明公开了一种双门限法与残差神经网络结合的声音语意识别方法及系统，首先自行收集了一套语音数据，针对这套数据进行了数据规范化等预处理操作；然后基于双门限法端点检测，寻找噪音点，进行降噪处理。同时使用分帧、加窗、傅里叶变换等一连串步骤将原始数据集中的所有音频转换为语谱图，得到图像数据集；最后使用深度残差网络对训练集进行训练，并根据训练到的模型在测试集中测试。本发明的优点在于：应用到船舶中实现了较高准确率的方法优化船舶护航能力，相较于人耳识别笛音具有成本低的特性。另外，本方法创新性的提出将端点检测与深度学习相结合的方式对语音进行语义理解，其效果远超单独利用端点检测或深度学习进行语音分类的方式。