本申请公开了一种联邦学习系统及其大规模影像训练方法和装置，联邦学习系统包括多个终端，每个终端均根据自身存储的本地数据进行模型训练，每个终端可根据预设规则作为临时协作方与其他终端进行通信，针对每个终端，方法包括：获取基于本地数据进行训练的当前迭代步生成的关键参数；根据预设规则确定当前迭代步对应的临时协作方；将关键参数发送至临时协作方，以使临时协作方根据接收到的各终端发送的关键参数进行模型融合，并将下一迭代步的模型参数发送至每个终端；接收临时协作方发送的下一迭代步的模型参数，并基于模型参数和本地数据进行下一迭代步的训练，通过动态确定临时协作方，有效避免固定服务器带来的瓶颈和异常。