本申请公开了一种模型训练方法及系统、非易失性存储介质和计算机终端。其中，该方法包括：多个GPU中的每个GPU均具有第一特征提取网络和第一全连接层，其中，多个GPU中的第一特征提取网络的网络结构相同；多个GPU中的第一GPU，用于对第一GPU的第一特征提取网络进行初始化，并采用初始化后的第一特征提取网络提取目标训练数据集中的第一样本特征；将第一样本特征输入至第一GPU的第一全连接层进行处理；并基于处理结果确定第一GPU的预测误差；基于第一GPU的预测误差和接收的其他GPU的预测误差，确定目标神经网络模型的目标预测误差；以及基于目标预测误差更新目标神经网络模型的参数。