本发明提供了一种基于多机集群的神经网络训练系统和方法以及该系统和方法所采用的计算设备和服务器，所述方法包括：采用网状集群连接的连接方式来连接用于进行神经网络训练的多个训练机器，所述网络集群连接为：每个所述训练机器与所述多个训练机器中的任何其他训练机器均连接。根据本发明实施例的基于多机集群的神经网络训练系统和方法以及该系统和方法所采用的计算设备和服务器基于多个训练机器进行神经网络的训练，且基于网状集群连接方式连接多个训练机器，能够加快不同训练机器之间的数据通信速度，提高神经网络训练的速度。