本申请提供一种模型训练方法、语音处理方法及其装置。该模型训练方法包括：获取样本数据对话语音信号以及对话语音信号对应的对话文本信息和标签数据；将对话语音信号和对话文本信息输入第一融合模型进行特征融合处理，得到第一预测融合特征；将第一预测融合特征输入分类模型进行分类处理，得到预测分类结果；采用交叉熵损失函数，确定预测分类结果和标签数据的第一损失值；若第一损失值大于或等于第一损失值阈值，则调整第一融合模型和分类模型的模型参数；否则，得到训练完成的第一融合模型和分类模型。本申请训练得到的第一融合模型和分类模型能够准确的确定接收到的语音信号对应的用户意图是否用来打断机器客服输出的语音信号。