本公开提供了一种神经网络优化方法、装置、电子设备、存储介质及芯片，该方法包括：获取待压缩神经网络；其中，待压缩神经网络包括多个待压缩网络块；响应于对多个待压缩网络块进行压缩操作得到多个压缩后网络块，确定每个压缩后网络块的目标误差；其中，目标误差用于表征在将待压缩网络块替换为压缩后网络块后，待压缩神经网络的推理结果的变化程度；和/或，待压缩网络块与压缩后网络块之间的差异程度；按照基于目标误差确定的处理顺序，对各个压缩后网络块进行参数调整，得到目标网络块；对包括多个目标网络块的待压缩神经网络进行训练，得到目标神经网络。