本发明提供了一种异构加速池化平台中多主控设备运行的方法和装置，该方法包括：在异构加速池化平台中创建若干个主节点设备和若干个从节点设备，异构加速池化平台的主机端将基于主节点设备和从节点设备建立的设备状态表发送到每个主节点设备中；响应于主节点设备接收到应用程序的数据量增加，判断应用程序的数据量是否大于主节点设备的算力；响应于应用程序的数据量大于主节点设备的算力，主节点设备基于设备状态表找到距主节点设备最近的空闲的从节点设备；主节点设备将找到的从节点设备的算力进行整合以共同处理应用程序的数据量。通过使用本发明的方案，能够在异构计算的池化过程中增加主节点设备的自主管理和自主算力扩张的能力。