一种基于蒸馏BERT的中文短文本分类方法
公开
摘要
本发明公开了一种基于蒸馏BERT的中文短文本分类方法，属于自然语言处理领域。本发明首先对输入文本进行预处理使得BERT的输出包含更多的文本信息。然后利用对原BERT进行微调得到适合文本分类的BERT模型。然后使用蒸馏的方法压缩了BERT的参数，增加了模型的运行速度。最后使用压缩后的BERT与CNN网络连接，再次进行微调，提高了对于特定文本的分类能力。
基本信息
专利标题 ：
一种基于蒸馏BERT的中文短文本分类方法
专利标题（英）：
暂无
公开（公告）号 ：
CN114595325A
申请号 ：
CN202111479291.3
公开（公告）日 ：
2022-06-07
申请日 ：
2021-12-04
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
许文波李昶霖白闰冰高鹏袁帅贾海涛
申请人 ：
电子科技大学长三角研究院（湖州）
申请人地址 ：
浙江省湖州市西塞山路819号南太湖科技创新综合体B1幢
代理机构 ：
代理人 ：
优先权 ：
CN202111479291.3
主分类号 ：
G06F16/35
IPC分类号 ：
G06F16/35 G06K9/62 G06N3/04 G06N3/08
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F16/35
••聚类；分类
法律状态
2022-06-07 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
