本发明公开了一种基于通信操作稀疏化的分布式深度学习多步延迟更新方法，其具体步骤包括：热身训练，在进行多步延迟迭代训练前利用同步随机梯度下降方法对深度学习模型进行一定迭代次数的训练；切换阶段，其目的是为了将同步随机梯度下降更新方法切换为多步延迟训练模式；本地参数更新操作采用基于全局梯度的本地更新方法，目的是为了缓解权重延迟，保证模型的收敛精度；多步延迟训练，其具体包括全局参数更新、本地参数更新和通信操作稀疏化三个步骤。本发明通过采用通信操作稀疏化，减缓了网络拥塞，消除了同步开销，很大程度降低了分布式训练过程中的通信开销，优化了训练过程的通信开销。