本公开提供了一种模型蒸馏方法、装置、设备及存储介质，涉及人工智能技术领域，具体涉及深度学习和计算机视觉技术领域，可用于图像处理和图像检测等场景。具体实现方案为：分别将样本图像输入至老师模型和学生模型，得到第一样本特征和第二样本特征；分别对所述第一样本特征和所述第二样本特征进行物理变换，得到第一扰动特征和第二扰动特征；根据所述第一样本特征、所述第二样本特征、所述第一扰动特征和所述第二扰动特征，确定蒸馏损失；根据所述蒸馏损失，对所述学生模型进行训练。根据本公开的技术，能够提高学生模型的训练精度。