一种神经网络差量压缩方法、装置、电子设备及存储介质
实质审查的生效
摘要
本发明提供一种神经网络差量压缩方法、装置、电子设备及存储介质,该方法在获取到神经网络的两个相邻训练版本时,可为这些版本所包含的各网络层生成专用的量化参数,并利用这些量化参数为对应的网络层进行浮点参数量化处理,得到训练版本对应的整数版本,再利用这些整数版本替代训练版本进行差量数据计算及差量压缩。换而言之,本发明为神经网络模型的每一网络层设置了生成的专用的量化参数,可采用不同力度对每一网络层进行针对性量化,相较于全局量化策略额外考虑了神经网络模型不同网络层之间的参数取值差异,能够有效避免将整个网络的浮点数参数看作一个集合来确定全局的量化参数所导致的量化误差增大及模型的精度下降问题。
基本信息
专利标题 :
一种神经网络差量压缩方法、装置、电子设备及存储介质
专利标题(英):
暂无
公开(公告)号 :
CN114418098A
申请号 :
CN202210255131.9
公开(公告)日 :
2022-04-29
申请日 :
2022-03-16
授权号 :
暂无
授权日 :
暂无
发明人 :
夏文金豪宇张舒昱吴东磊邹翔宇刘洋漆舒汉
申请人 :
哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
申请人地址 :
广东省深圳市南山区桃源街道深圳大学城哈尔滨工业大学校区
代理机构 :
北京集佳知识产权代理有限公司
代理人 :
王燕
优先权 :
CN202210255131.9
主分类号 :
G06N3/08
IPC分类号 :
G06N3/08 G06N3/04
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06N
基于特定计算模型的计算机系统
G06N3/00
基于生物学模型的计算机系统
G06N3/02
采用神经网络模型
G06N3/08
学习方法
法律状态
2022-05-20 :
实质审查的生效
IPC(主分类) : G06N 3/08
申请日 : 20220316
申请日 : 20220316
2022-04-29 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载