提供用于执行神经网络的训练操作的方法和系统。在一个实例中，一种方法包括：执行用于神经网络的第二层的向后传播计算以产生第二权重梯度；将所述第二权重梯度分裂为若干部分；致使硬件接口与第二计算机系统交换所述第二权重梯度的第一部分；当所述第二权重梯度的所述第一部分的所述交换在进行中时执行用于所述神经网络的第一层的向后传播计算以产生第一权重梯度，所述第一层在所述神经网络中是比所述第二层低的层；致使所述硬件接口将所述第一权重梯度传输到所述第二计算机系统；以及致使所述硬件接口将所述第二权重梯度的剩余部分传输到所述第二计算机系统。