本发明提出了一种面向神经网络模型计算的图执行流水并行方法和装置，提供了一种深度学习训练系统中面向神经网络模型计算的图执行流水并行方法和装置。包括面向神经网络模型计算过程中的图执行流程和各功能模块协同工作的过程。所述面向神经网络模型计算的图执行流水并行方法是根据深度学习框架编译生成的物理计算图创建本机上的图执行体，通过设计为每个图执行体分配多个空闲内存块的方案，实现了整张计算图以流水并行的方式同时参与到不同批次数据的深度学习训练任务中，充分提高了内存的使用率和数据的并行速率。