本申请涉及人工智能领域，提供了一种神经网络的训练方法和装置，可以实现在迭代步维度对神经网络的参数组进行细粒度控制，在训练加速的同时提升了训练精度。该方法包括：获取待训练的神经网络；对待训练的神经网络的参数进行分组，以得到M组参数，M为大于或等于1的正整数；获取采样概率分布和训练迭代步排布方式，采样概率分布用于表征在每个训练迭代步中M组参数中的每组参数被采样的概率，训练迭代步排布方式包括间隔排布和周期排布；根据采样概率分布和训练迭代步排布方式，对被采样的参数组冻结或停更；根据被冻结的参数组或被停更的参数组对待训练的神经网络进行训练。