公开了混合并行性技术，其中使用数据与模型并行性技术的混合来跨处理器阵列拆分层的工作负载。当配置阵列时，处理器在一个方向上的带宽可大于另一方向上的带宽。每个层根据它们是特征更重还是权重更重来表征。根据该表征，NN层的工作负载可以使用混合并行性技术来分配给阵列，而不是仅使用数据并行性技术或仅使用模型并行性技术。例如，如果NN层相比特征重更加权重重，则在具有较大带宽的方向上使用数据并行性(以最小化权重减小的负面影响)，而在具有较小带宽的方向上使用模型并行性。