本发明公开了一种基于联邦深度学习的心脏图像处理方法，包括步骤：中央服务器端进行心脏图像数据的多尺度信息聚合算法的全局初始模型设计，并下发该初始模型到各参与方；各参与方利用本地数据，进行全局初始模型的训练，获得本地更新模型；服务器端对各本地更新模型进行聚合，再将聚合之后的全局更新模型分发到参与方进行训练；重复前述两个步骤，直到全局模型收敛至预设条件。本发明在各方持有原始心脏图像数据不出本地的情况下，能够充分挖掘数据特征信息，提升心脏图像分割效果，提升模型性能并释放数据潜力。本发明的聚合方法能够对各参与方的局部模型进行有效测试，记录并剔除效果不好的参与方，能够有效提升聚合效率和精度。