本发明提供了一种卷积神经网络压缩方法、装置及电子设备，该方法包括：获取目标应用场景的目标训练样本集；采用方差缩放方法初始化待压缩神经网络模型的权重，得到待压缩神经网络模型的初始权重向量；以预设稀疏度作为约束条件，确定初始权重向量对应的权重优化向量，并根据权重优化向量计算待压缩神经网络模型中所有连接的灵敏度；根据预设稀疏度和灵敏度对待压缩神经网络模型进行剪枝，得到稀疏神经网络模型；使用目标训练样本集训练稀疏神经网络模型，直至得到训练完成的目标神经网络模型。本发明可以在保证压缩后模型的准确性的同时提高模型压缩的效率。