本发明公开了一种去中心化分布式训练拓扑结构，包括：所述拓扑结构为n维超方形拓扑结构，是封闭的、紧致的、凸的无向图，所述拓扑结构由有限非空节点集合和有限边集合组成，所述拓扑结构的1维骨架是由一群在其所在空间对准每个维度整齐排列的等长的线段组成的，其中相对的线段互相平行，而相交于一点的线段则互相正交，本发明聚焦于去中心化分布式性能训练，将训练任务“均匀化”，将训练任务负荷均匀地分配到分布式训练系统中各个训练节点上，系统性能不再取决于单一训练节点性能，具有迭代耗时短，数据本地化，通信有效性高的优点。