本申请公开了模型参数更新方法及组件，包括：依次将样本数据输入至流水线上的首个计算设备；从首个计算设备开始利用编码层对输入的样本数据进行第一前向传播后得到编码结果，将编码结果存储至流水线上的每个计算设备，从首个计算设备开始利用解码层对编码结果进行第二前向传播得到解码结果；从最后一个计算设备开始根据解码结果利用解码层进行第一反向传播得到梯度值，将全部梯度值在最后一个计算设备中进行规约操作，从最后一个计算设备开始根据规约操作结果利用编码层进行第二反向传播后根据第二反向传播结果对由编码层和解码层构成模型的层级参数进行更新。能够在大模型训练过程中，结合流水线并行和参数共享技术提高模型计算效率。