本发明公开了一种自然语言处理模型的并行计算方法、装置、设备及介质；在本方案中，不同计算节点组内的多个计算设备通过流水线并行方式进行训练，不同计算节点组间使用数据并行方式进行梯度共享，该方式可将流水线并行控制在一定的结点数量中，避免大规模计算结点训练中，流水线过度划分带来的性能下降的问题，可有效适用于大规模网络模型在大规模计算结点上的并行训练。并且，本方案将计算节点组间同步通信隐藏在流水线并行计算过程中，使得在迭代计算结束后，各计算结点组可尽快进入下一次迭代计算，通过该方式，可在确保自然语言处理模型的处理效果的基础上，减少自然语言处理模型训练的计算时间，提高分布式训练的效率。