一种多老师监督下的多分支学生网络的知识蒸馏方法
公开
摘要
本发明公开了一种多老师监督下的多分支学生网络的知识蒸馏方法，包括以下步骤：训练多个参数量存在一定差异的老师模型，不同的老师模型对应不同的权重比例；针对学生模型不同的分支结构采用不同的监督信息；在训练过程的第一阶段，按照老师模型参数量大小逐渐降低参数量最多的老师模型对学生网络损失的比例，使得参数量大的老师模型逐渐退出学生模型的训练；在训练过程的第二阶段，仅使用学生网络的最深层分类器监督分支分类器的监督；在训练过程的第三阶段，仅使用交叉熵对多分支学生网络进行训练。本发明能够充分吸收多个老师网络模型知识，能够实现更高的准确率。
基本信息
专利标题 ：
一种多老师监督下的多分支学生网络的知识蒸馏方法
专利标题（英）：
暂无
公开（公告）号 ：
CN114548397A
申请号 ：
CN202111666324.5
公开（公告）日 ：
2022-05-27
申请日 ：
2021-12-30
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
孙芃
申请人 ：
天翼电子商务有限公司
申请人地址 ：
北京市西城区阜成门外大街31号4层429D
代理机构 ：
代理人 ：
优先权 ：
CN202111666324.5
主分类号 ：
G06N3/08
IPC分类号 ：
G06N3/08 G06N3/04 G06N5/04
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06N
基于特定计算模型的计算机系统
G06N3/00
基于生物学模型的计算机系统
G06N3/02
采用神经网络模型
G06N3/08
学习方法
法律状态
2022-05-27 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
