本申请提供一种异构模型建立方法及装置，涉及深度学习模型领域，该方法包括：获取表征其他参与建模节点角色的信息；向任务服务机下发算法信息，确定目标建模算法；基于目标建模算法与任务服务机进行协同建模操作，协同建模操作包括：基于目标建模算法计算初步异构模型的损失值，基于损失值确定更新梯度值，以及基于更新梯度值更新初步异构模型的权重值；根据权重值和损失值确定初步异构模型是否收敛，在确定初步异构模型收敛时，得到目标异构模型。采用本申请实施例提供的方法能够在联邦学习的过程中使建立目标异构模型的过程能够在各个联邦学习平台之间互联互通，同时提高在进行协同建模时的安全性。