本发明公开一种多模态渐进式联邦学习的图像识别方法，包括以下步骤：先对多模态图像特征信息进行提取，再以训练集数据为输入构建渐进式神经网络并作为参与者参与联邦学习，接着利用训练集数据训练神经网络模型，并通过加密的方式上传梯度信息至主服务器，随后主服务器更新模型参数并下发至各渐进式神经网络，然后判断渐进式网络输出向量是否满足真实图像特征并确定识别结果，实现多模态图像识别过程；本发明融合联邦学习思想，在协作训练中保证数据的隐私安全，在样本不足以及样本分散的时候也能获得较高性能，充分依赖多种模态信息，提高识别效率，在渐进式神经网络的基础上融入联邦学习，提高了数据安全性的同时，还提高了数据的流动性。