本公开涉及用于执行基于模型并行的分布式推理的方法、设备和介质。在移动终端处执行基于模型并行的分布式推理的方法包括：下载并运行根据当前应用模型构建的回归模型，所述回归模型用来预测当前应用模型的层间输出数据的数量和将层间输出数据上传给云服务器所需的网络传输速率、当前应用模型的层间推理时间和功耗；确定移动终端的当前电量是否低于阈值电量；基于所述确定的结果计算当前应用模型的退出点；以及将计算出的退出点传输给所述云服务器；其中，在所述退出点处所述移动终端停止所述当前应用模型的推理并且把所获得的层间输出数据推送到所述云服务器以供所述云服务器执行所述当前应用模型的剩余部分的推理。