一种基于群组关系知识蒸馏的模型压缩方法
公开
摘要
本发明公开一种基于群组关系知识蒸馏的模型压缩方法,该方法在完成对数据集的预处理之后,随机初始化一个大容量的卷积神经网络作为教师网络,利用交叉熵损失函数对该网络进行预训练;随后在知识蒸馏阶段,随机初始化一个小容量的卷积神经网络作为学生网络,教师网络和学生网络分别对图像样本特征进行K均值聚类,并利用最大均值差异计算各组之间的关系,利用交叉熵与群组关系损失函数的加权和对学生网络进行训练。最后利用训练好的网络对测试图像进行分类决策。该方法能够指导学生网络模仿老师对样本的分组能力,从而使得学生网络的性能逼近老师网络的性能。
基本信息
专利标题 :
一种基于群组关系知识蒸馏的模型压缩方法
专利标题(英):
暂无
公开(公告)号 :
CN114626504A
申请号 :
CN202210030247.2
公开(公告)日 :
2022-06-14
申请日 :
2022-01-11
授权号 :
暂无
授权日 :
暂无
发明人 :
杨赛杨慧周伯俊胡彬
申请人 :
南通大学
申请人地址 :
江苏省南通市啬园路9号
代理机构 :
南京瑞弘专利商标事务所(普通合伙)
代理人 :
许洁
优先权 :
CN202210030247.2
主分类号 :
G06N3/04
IPC分类号 :
G06N3/04 G06N3/08 G06N5/02 G06V10/764 G06V10/762 G06V10/774 G06V10/82 G06K9/62
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06N
基于特定计算模型的计算机系统
G06N3/00
基于生物学模型的计算机系统
G06N3/02
采用神经网络模型
G06N3/04
体系结构,例如,互连拓扑
法律状态
2022-06-14 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载