一种基于结构搜索和通道剪枝的神经网络模型压缩方法
实质审查的生效
摘要
本发明公开了一种基于结构搜索和通道剪枝的神经网络模型压缩方法,用于无人车、无人艇等目标检测,采用神经网络结构搜索技术,针对当前数据集和任务,首先训练出一个精度不低但相比常规CNN参数量和计算量都较小的轻量级网络,为网络中每一个层级的结构都赋予一个对应衡量其重要性的缩放因子,同时各层级结构对应缩放因子采用大方差高斯分布初始化,施加L1范数正则化同时采用次梯度优化算法,进行稀疏化训练,将模型中那些接近0的缩放因子对应的层级进行裁剪,对模型进行微调,如果能回到baseline的精度或下降在5%以内进行下一轮模型压缩剪枝,否则结束该程序。
基本信息
专利标题 :
一种基于结构搜索和通道剪枝的神经网络模型压缩方法
专利标题(英):
暂无
公开(公告)号 :
CN114330644A
申请号 :
CN202111481512.0
公开(公告)日 :
2022-04-12
申请日 :
2021-12-06
授权号 :
暂无
授权日 :
暂无
发明人 :
陈余根程文韶谭海徐寅王南
申请人 :
华中光电技术研究所(中国船舶重工集团公司第七一七研究所)
申请人地址 :
湖北省武汉市洪山区雄楚大街981号
代理机构 :
武汉凌达知识产权事务所(特殊普通合伙)
代理人 :
刘念涛
优先权 :
CN202111481512.0
主分类号 :
G06N3/04
IPC分类号 :
G06N3/04 G06N3/08
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06N
基于特定计算模型的计算机系统
G06N3/00
基于生物学模型的计算机系统
G06N3/02
采用神经网络模型
G06N3/04
体系结构,例如,互连拓扑
法律状态
2022-05-24 :
实质审查的生效
IPC(主分类) : G06N 3/04
申请日 : 20211206
申请日 : 20211206
2022-04-12 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载