本申请公开了一种图像分类模型的推理方法、装置、设备及介质，方法包括：训练基于卷积神经网络的初始图像分类模型；计算初始图像分类模型中卷积层的权重量化因子，以及通过最小化均方误差确定卷积层的激活值量化因子；通过权重量化因子对卷积层的权重值进行量化；计算初始图像分类模型的逆量化因子，并计算激活值量化因子与逆量化因子的移位表示；在推理时，通过激活值量化因子对卷积层输出的激活值进行量化；通过量化后的权重值与量化后的激活值，计算卷积层，得到卷积层的输出结果；通过移位的逆量化因子与移位的激活值量化因子，将输出结果逆量化。提高了图像分类模型的推理效率。