一种基于数据保护场景下的模型压缩方法及系统
公开
摘要
本发明涉及一种基于数据保护场景下的模型压缩方法及系统，属于模型压缩领域，将传统的模型反演扩展到基于多教师集成的模型反演，充分反演来自教师的更丰富的信息以生成可泛化的数据。另外教师内部对比用于逐步合成具有与历史样本不同模式的新样本，师生对比旨在推动学生与同构教师之间的关系远离表示空间中的非同构关系，以提高合成数据的多样性。并且以对抗的方式训练图像生成和知识转移的过程，以同时学习学生模型和生成合成数据。本发明不依赖于模型原始的训练数据，通过多教师模型的知识蒸馏以及引入基于对比学习的损失函数，对无数据的模型压缩方法进行有效压缩和压缩后的模型具有更高的准确率。
基本信息
专利标题 ：
一种基于数据保护场景下的模型压缩方法及系统
专利标题（英）：
暂无
公开（公告）号 ：
CN114565810A
申请号 ：
CN202210220060.9
公开（公告）日 ：
2022-05-31
申请日 ：
2022-03-08
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
林绍辉林振元何高奇王长波马利庄
申请人 ：
华东师范大学
申请人地址 ：
上海市闵行区东川路500号
代理机构 ：
北京高沃律师事务所
代理人 ：
杜阳阳
优先权 ：
CN202210220060.9
主分类号 ：
G06V10/776
IPC分类号 ：
G06V10/776 G06V10/82 G06K9/62 G06N3/04 G06N3/08 G06N20/00 G06F16/535
法律状态
2022-05-31 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
