描述了用于调度ML工作负载的任务的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。系统接收请求以执行工作负载，并且基于请求来确定资源需求以执行工作负载。系统包括多个主机并且每个主机包括多个加速器。系统基于资源需求和每个主机的加速器来确定被分配来执行工作负载的任务的主机的数量。针对所述数量的主机中的每个主机，系统基于主机的存储器存取拓扑来生成任务规格。规格指定将在主机处使用包括多个加速器的主机的资源执行的任务。系统将任务规格提供给主机，并且在每个主机执行针对主机在任务规格中指定的所分配任务时执行工作负载。