本申请适用于服务器领域，公开了一种分布式推理的控制方法、装置、设备及可读存储介质，通过采用计算资源池中的计算资源来实现分布式推理的各个推理部分，并在计算资源池的监控节点的控制下实现根据推理任务的业务需求动态生成推理网络，具体根据主机发送的推理任务的业务需求，为推理任务包括的各子推理任务分配计算资源池中的计算资源，并将计算资源提供给主机调用以完成各子推理任务，能够根据业务需求和计算节点运行情况灵活分配计算资源，子推理任务不再固定于某个计算节点，而计算节点之间也不再受限于上下级管理，能够在计算资源池中平等、灵活地接收调用，有助于实现资源合理利用和负载均衡。