本公开提供了一种神经网络处理单元NPU、神经网络的处理方法及其装置，涉及人工智能技术领域中的深度学习、语音技术等领域。该方案为：通过量化单元获取浮点型的输入数据，并将浮点型的输入数据转换成定点型的输入数据，对定点型的输入数据提供至运算单元，以及获取神经网络的网络参数并提供至运算单元，并通过运算单元基于网络参数对量化后的输入数据进行矩阵向量操作和/或卷积操作，以得到量化后的输入向量的运算结果，从而通过同时支持浮点型和定点型表示方式并进行适应性的结合方式，在确保精度要求的同时，降低了功耗，提升了NPU的算力。