一种多网络联合辅助生成式知识蒸馏方法
实质审查的生效
摘要
本发明公开了一种多网络联合辅助生成式知识蒸馏方法,首先进行图像分类数据集预处理;然后根据确定的图像分类数据集选择教师网络模型并训练;再根据确定的图像分类数据集选择困难样本生成器G1和学生网络,组成对抗知识蒸馏框架;建立生成对抗知识蒸馏的目标函数;对组建好的对抗知识蒸馏框架进行迭代训练;最后引入简单样本生成器G2,使用困难样本生成器G1和简单样本生成器G2交替调整学生网络,得最终结果。本发明额外引入了一个简单样本生成器,并且简单样本生成器直接复制训练好的困难样本生成器,并没有增加计算量,而且操作简单。在简单样本生成器帮助学生网络回顾简单样本的情况下,最终在目标任务上取得了更好的效果。
基本信息
专利标题 :
一种多网络联合辅助生成式知识蒸馏方法
专利标题(英):
暂无
公开(公告)号 :
CN114549901A
申请号 :
CN202210172188.2
公开(公告)日 :
2022-05-27
申请日 :
2022-02-24
授权号 :
暂无
授权日 :
暂无
发明人 :
匡振中王一琳丁佳骏顾晓玲俞俊
申请人 :
杭州电子科技大学
申请人地址 :
浙江省杭州市下沙高教园区2号大街
代理机构 :
杭州君度专利代理事务所(特殊普通合伙)
代理人 :
朱月芬
优先权 :
CN202210172188.2
主分类号 :
G06V10/764
IPC分类号 :
G06V10/764 G06V10/82 G06K9/62 G06N3/04 G06N3/08
法律状态
2022-06-14 :
实质审查的生效
IPC(主分类) : G06V 10/764
申请日 : 20220224
申请日 : 20220224
2022-05-27 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载