一种建立短文本多层级分类模型的方法和系统
公开
摘要
本发明实施例公开了一种建立短文本多层级分类模型的方法和系统，所述方法包括：对同一份短文本数据集，按照设置的不同层级的短文本类别标签进行标注后生成的不同层级的标注数据集，并将其作为输入，对基于公开的预训练模型Bert base后接全连接层建立的分类模型分层级进行训练，生成不同层级的分类模型，并在训练下一层级分类模型时，将上一层级经过微调的预训练模型Bert base的部分训练参数迁移到下一层级初始预训练模型Bert base的对应部分，最后将生成的多层级的分类模型进行组合生成最终的分类模型。所述方法和系统可有效扩增每种类别下的数据总量，解决模型训练的数据稀疏度问题；并对低层级的分类学习，通过迁移高层级分类模型的通用参数提升训练效果。
基本信息
专利标题 ：
一种建立短文本多层级分类模型的方法和系统
专利标题（英）：
暂无
公开（公告）号 ：
CN114579737A
申请号 ：
CN202111636972.6
公开（公告）日 ：
2022-06-03
申请日 ：
2021-12-29
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
王亚平林文辉王志刚马兰李瑞祥伺彦伟祁洪波
申请人 ：
航天信息股份有限公司;河北航天信息技术有限公司
申请人地址 ：
北京市海淀区杏石口路甲18号
代理机构 ：
北京工信联合知识产权代理有限公司
代理人 ：
刘海蓉
优先权 ：
CN202111636972.6
主分类号 ：
G06F16/35
IPC分类号 ：
G06F16/35 G06K9/62 G06N3/04 G06N3/08
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F16/35
••聚类；分类
法律状态
2022-06-03 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
