本发明提供一种基于局部稀疏约束的结构化剪枝方法和装置。其中方法包括：基于预先设置的掩码，通过样本数据集对神经网络模型进行限制作用范围的稀疏化训练，得到权值稀疏的神经网络模型；其中，所述掩码是基于剪枝率预先设置，用于指定所述神经网络模型中进行所述稀疏化训练的通道；基于所述预先设置的掩码，对所述权值稀疏的神经网络模型中输出通道的参数和网络连接进行剪枝处理；通过所述样本数据集对剪枝处理得到的神经网络模型进行微调训练，得到目标神将网络模型。本发明可以保证结构化剪枝得到的神经网络模型相比于现有剪枝方法得到的神经网络模型拥有更好的表现。