基于细粒度数据分布对齐的神经网络后训练量化方法
实质审查的生效
摘要

基于细粒度数据分布对齐的神经网络后训练量化方法,涉及人工神经网络压缩与加速。1)计算校准数据集中每张图在预训练的全精度网络每一层的BN参数,得每个类别的代表BN参数;2)量化预训练的全精度网络得量化网络;3)生成器接受高斯噪声和随机选择的标签生成指定类别的图片,使用交叉熵损失、BN损失、代表BN损、扰动代表BN损失训练训练生成器;4)利用生成器生成的图片和校准数据集图片,使用蒸馏损失、交叉熵损失训练量化网络;5)循环2)~4)至达到预定的训练轮数;6)保留量化网络权重,即得量化后的量化网络。只需少量数据的校准数据集,可从头训练得量化网络,无需特定硬件支持,在通用硬件平台上实现网络压缩与加速。

基本信息
专利标题 :
基于细粒度数据分布对齐的神经网络后训练量化方法
专利标题(英):
暂无
公开(公告)号 :
CN114429209A
申请号 :
CN202210101357.3
公开(公告)日 :
2022-05-03
申请日 :
2022-01-27
授权号 :
暂无
授权日 :
暂无
发明人 :
纪荣嵘钟云山
申请人 :
厦门大学
申请人地址 :
福建省厦门市思明区思明南路422号
代理机构 :
厦门南强之路专利事务所(普通合伙)
代理人 :
马应森
优先权 :
CN202210101357.3
主分类号 :
G06N3/08
IPC分类号 :
G06N3/08  G06N3/063  G06N3/04  G06K9/62  G06V10/764  G06V10/82  
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06N
基于特定计算模型的计算机系统
G06N3/00
基于生物学模型的计算机系统
G06N3/02
采用神经网络模型
G06N3/08
学习方法
法律状态
2022-05-20 :
实质审查的生效
IPC(主分类) : G06N 3/08
申请日 : 20220127
2022-05-03 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
  • 联系电话
    电话:023-6033-8768
    QQ:1493236332
  • 联系 Q Q
    电话:023-6033-8768
    QQ:1493236332
  • 关注微信
    电话:023-6033-8768
    QQ:1493236332
  • 收藏
    电话:023-6033-8768
    QQ:1493236332