一种基于轻量化预训练语言模型的文本分类方法
授权
摘要
本发明公开了一种基于轻量化预训练语言模型的文本分类方法，目的是在占用资源少的前提下提高文本分类准确率。技术方案是：构建基于预训练语言模型的文本分类模型，包括教师模型和学生模型；将GLUE数据集处理为文本分类模型进行分类时需要的格式；对教师模型进行参数初始化，采用处理好的GLUE数据集对教师模型进行微调；接着对学生模型进行参数初始化，采用GLUE数据集使用知识蒸馏方法轻量化微调后的教师模型，得到学生模型的网络权重参数；使用学生模型网络权重参数初始化学生模型，得到轻量化的学生模型；最后使用轻量化的学生模型对用户输入文本进行文本分类，得到分类结果。本发明实现了在占有资源少的前提下文本分类准确率高。
基本信息
专利标题 ：
一种基于轻量化预训练语言模型的文本分类方法
专利标题（英）：
暂无
公开（公告）号 ：
CN114168709A
申请号 ：
CN202111466873.8
公开（公告）日 ：
2022-03-11
申请日 ：
2021-12-03
授权号 ：
CN114168709B
授权日 ：
2022-06-03
发明人 ：
黄震王安坤陈一凡郭敏王博阳方群天刘锋李东升
申请人 ：
中国人民解放军国防科技大学
申请人地址 ：
湖南省长沙市开福区德雅路109号
代理机构 ：
湖南企企卫知识产权代理有限公司
代理人 ：
任合明
优先权 ：
CN202111466873.8
主分类号 ：
G06F16/33
IPC分类号 ：
G06F16/33 G06F16/35 G06K9/62
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F16/33
••查询
法律状态
2022-06-03 ：
授权
2022-03-29 ：
实质审查的生效
IPC(主分类) : G06F 16/33
申请日 : 20211203
申请日 : 20211203
2022-03-11 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
