一种基于知识蒸馏实现的无数据细粒度分类模型压缩系统及方法
公开
摘要

本发明公开了一种基于对抗蒸馏的细粒度分类模型压缩系统,其特征在于,所述系统包括:生成器、固定教师模型、学生模型;所述生成器通过输入高斯噪声,在对抗蒸馏阶段中为教师模型和学生模型提供稳定的可供调节的生成样本;所述固定教师模型是经过预训练的模型;所述学生模型是模型压缩知识蒸馏的目标和客体,用于压缩后代替教师模型进行部署和推理。本发明还公开了利用上述模型压缩系统实现的基于对抗蒸馏的细粒度分类模型压缩方法。本发明适用于安全保护和模型压缩为目的的任务需求。对于细粒度分类任务,能够以最有效的方式提升模型的分类效果,同时该方法也适用于通用分类任务的模型压缩和隐私保护。

基本信息
专利标题 :
一种基于知识蒸馏实现的无数据细粒度分类模型压缩系统及方法
专利标题(英):
暂无
公开(公告)号 :
CN114565019A
申请号 :
CN202210085563.X
公开(公告)日 :
2022-05-31
申请日 :
2022-01-25
授权号 :
暂无
授权日 :
暂无
发明人 :
邵仁荣刘宇昂张伟王骏
申请人 :
华东师范大学
申请人地址 :
上海市闵行区东川路500号
代理机构 :
上海德禾翰通律师事务所
代理人 :
夏思秋
优先权 :
CN202210085563.X
主分类号 :
G06K9/62
IPC分类号 :
G06K9/62  G06N3/04  G06N3/08  
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06K
数据识别;数据表示;记录载体;记录载体的处理
G06K9/00
用于阅读或识别印刷或书写字符或者用于识别图形,例如,指纹的方法或装置
G06K9/62
应用电子设备进行识别的方法或装置
法律状态
2022-05-31 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
  • 联系电话
    电话:023-6033-8768
    QQ:1493236332
  • 联系 Q Q
    电话:023-6033-8768
    QQ:1493236332
  • 关注微信
    电话:023-6033-8768
    QQ:1493236332
  • 收藏
    电话:023-6033-8768
    QQ:1493236332