一种基于师生协同的知识蒸馏方法
公开
摘要

本发明涉及知识蒸馏技术领域,具体涉及一种基于师生协同的知识蒸馏方法,包括:构建经过预先训练的教师网络以及具有多层级的分支输出的学生网络;将训练数据分别输入教师网络和学生网络,得到教师网络输出的概率分布以及各个分支输出的概率分布和特征;计算各个分支的知识蒸馏损失和自蒸馏损失;然后通过各个分支的知识蒸馏损失和自蒸馏损失计算对应的整体损失函数,并更新学生网络的参数;对学生网络各个分支输出的概率分布进行融合,得到对应的最终概率分布;重复上述步骤,直至学生网络训练至收敛。本发明能够通过教师网络和学生网络自身来协同优化和训练学生网络,使得不增加教师网络的复杂度并能够基于学生网络的输出进行自监督和自学习。

基本信息
专利标题 :
一种基于师生协同的知识蒸馏方法
专利标题(英):
暂无
公开(公告)号 :
CN114611670A
申请号 :
CN202210254811.9
公开(公告)日 :
2022-06-10
申请日 :
2022-03-15
授权号 :
暂无
授权日 :
暂无
发明人 :
李刚高文建徐传运张杨刘欢王影郑宇徐昊张晴宋志瑶马莹丽曹铠洪陈志远朱鑫李梦伟白南兰陈鹏孙成杰王克亚
申请人 :
重庆理工大学
申请人地址 :
重庆市巴南区李家沱红光大道69号
代理机构 :
重庆博凯知识产权代理有限公司
代理人 :
黄河
优先权 :
CN202210254811.9
主分类号 :
G06N3/04
IPC分类号 :
G06N3/04  G06N3/08  G06Q50/20  
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06N
基于特定计算模型的计算机系统
G06N3/00
基于生物学模型的计算机系统
G06N3/02
采用神经网络模型
G06N3/04
体系结构,例如,互连拓扑
法律状态
2022-06-10 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
  • 联系电话
    电话:023-6033-8768
    QQ:1493236332
  • 联系 Q Q
    电话:023-6033-8768
    QQ:1493236332
  • 关注微信
    电话:023-6033-8768
    QQ:1493236332
  • 收藏
    电话:023-6033-8768
    QQ:1493236332