本公开提供了一种基于知识蒸馏的联合学习训练方法、装置、设备及介质。该方法包括：获取初始化全局模型，将初始化全局模型作为知识蒸馏的指导模型；利用指导模型对本地数据进行预测，得到第一预测结果，并利用本地数据对参与方的本地模型进行训练，得到第二预测结果；将第一预测结果与第二预测结果进行距离衡量，将距离衡量的结果作为指导模型与本地模型之间的蒸馏损失，基于蒸馏损失以及本地模型的损失函数计算偏差值；基于偏差值，利用反向传播算法计算梯度值，利用梯度值对本地模型的参数进行更新，并将参数更新后的本地模型上传至聚合服务器，以使聚合服务器执行聚合操作。本公开能够提高联合模型的收敛速度及模型性能，提升联合学习效率。