本发明提供一种模型压缩方法、系统、部署方法、设备及存储介质，包括：获取数据集以及已经预训练的待压缩的神经网络，设置DGMS算法的相关参数；根据待压缩的神经网络，使用k‑means算法初始化混合高斯模型的系数，得到参数化的混合高斯模型的权重，根据权重分配产生最初的量化划分集合；基于量化划分集合，使用DGMS算法对待压缩的神经网络进行量化训练，使用随机梯度下降方法优化神经网络参数和用于量化的相关参数；训练完毕后，使用最终获得的神经网络参数以及量化相关参数，获得量化后的神经网络模型，并使用量化后的神经网络模型进行模型推理。本发明采用量化技术对神经网络模型进行压缩，减少模型大小，提高模型推理速度。