一种预训练语言模型的训练方法及装置
公开
摘要
本申请实施例提供了一种预训练语言模型的训练方法及装置。包括：从WordNet词表中获取样本分词的关系词，其中，样本分词在WordNet词表中包含至少一种关系，关系词与样本分词具有第一关系，第一关系是从至少一种关系中选取的；从关系词中随机选取N个正样例词；以及，从关系词以外的词中选取K个负样例词；获取样本分词、每个正样例词和每个负样例词对应的句子；对获取到的句子进行局部遮罩mask处理；对遮罩处理后的各个句子两两拼接，并使用拼接后的句子训练预训练语言模型。本申请实施例的技术方案，能够使预训练语言模型捕捉到更丰富语义空间的词语或句子级别的表示，从而提高了下游任务的使用效果。
基本信息
专利标题 ：
一种预训练语言模型的训练方法及装置
专利标题（英）：
暂无
公开（公告）号 ：
CN114626371A
申请号 ：
CN202210287236.2
公开（公告）日 ：
2022-06-14
申请日 ：
2022-03-22
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
李健铨吴相博胡加明
申请人 ：
鼎富智能科技有限公司
申请人地址 ：
安徽省合肥市高新区习友路3333号A1楼19层-B区
代理机构 ：
北京弘权知识产权代理有限公司
代理人 ：
李少丹
优先权 ：
CN202210287236.2
主分类号 ：
G06F40/279
IPC分类号 ：
G06F40/279 G06F40/30 G06F40/126 G06F40/242 G06K9/62
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F40/279
文字实体的识别
法律状态
2022-06-14 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
