本发明提供一种神经网络差量压缩方法、装置、电子设备及存储介质，该方法在获取到神经网络的两个相邻训练版本时，可为这些版本所包含的各网络层生成专用的量化参数，并利用这些量化参数为对应的网络层进行浮点参数量化处理，得到训练版本对应的整数版本，再利用这些整数版本替代训练版本进行差量数据计算及差量压缩。换而言之，本发明为神经网络模型的每一网络层设置了生成的专用的量化参数，可采用不同力度对每一网络层进行针对性量化，相较于全局量化策略额外考虑了神经网络模型不同网络层之间的参数取值差异，能够有效避免将整个网络的浮点数参数看作一个集合来确定全局的量化参数所导致的量化误差增大及模型的精度下降问题。