本申请提供一种基于卷积神经网络的模型稀疏方法。解决了提高稀疏模型精度的技术问题。模型稀疏方法包括：根据预训练模型的稀疏需求，设定稀疏比例s_l；根据所述s_l，稀疏所述预训练模型中每层的参数W_l，得到稀疏模型；计算第一中间结果和第二中间结果的误差损失；其中，所述第一中间结果为所述预训练模型第1层的中间结果；所述第二中间结果为所述稀疏模型中第1层的中间结果；根据预设权重，对所述误差损失加权，得到加权结果；将所述加权结果累加至模型预测误差上，得到最终损失；根据所述最终损失，更新所述稀疏模型的网络参数。本申请通过利用稀疏前的网络中间层结果为稀疏后的网络提供指导训练，加速收敛过程，提升网络精度。