本发明公开了一种面向BERT模型的神经网络二值化量化方法及量化装置，用于执行自然语言处理任务。在BERT模型的二值化阶段，输入数据首先经过二值化嵌入层，随后被送入转化器模块；转化器模块包括多头注意力模块和前馈网络；在多头注意力模块中引入基于信息论的双向注意力机制，采用具有最大化信息熵的二值化表示，使二值化模型恢复对输入数据的感知；在确定BERT模型的优化方向时，首先通过重新选择提取参数来提供匹配的优化方向，然后构建相似性矩阵来消除尺度差异和数值不稳定性。利用本发明，可以满足自然语言处理任务中，既保留BERT模型的全精度又降低存储消耗和计算量的实际需求。