语言模型的预训练方法、结果推荐方法及相关装置
公开
摘要
本申请公开了一种语言模型的预训练方法、结果推荐方法及相关装置,该方法能够以MLM任务和义原预测任务为第一阶段的训练任务对语言模型进行预训练,使得语言模型学习到训练文本中词语的义原。在完成第一阶段的预训练后,该方法能够以对比学习为第二阶段的训练任务,采用基于目标领域的知识图谱确定的第二训练文本对语言模型进行预训练,从而将目标领域的知识图谱融入该语言模型的预训练过程,使语言模型能够学习到目标领域的知识图谱中的知识。由于本申请提供的方法能够在语言模型的预训练过程中引入不同的训练任务,因此可以确保语言模型的预训练效果较好。
基本信息
专利标题 :
语言模型的预训练方法、结果推荐方法及相关装置
专利标题(英):
暂无
公开(公告)号 :
CN114565104A
申请号 :
CN202210193343.9
公开(公告)日 :
2022-05-31
申请日 :
2022-03-01
授权号 :
暂无
授权日 :
暂无
发明人 :
谢作通陈军华邹嘉欣侯嘉伟颜强
申请人 :
腾讯科技(深圳)有限公司;清华大学深圳国际研究生院
申请人地址 :
广东省深圳市南山区高新区科技中一路腾讯大厦35层
代理机构 :
北京三高永信知识产权代理有限责任公司
代理人 :
李文静
优先权 :
CN202210193343.9
主分类号 :
G06N20/00
IPC分类号 :
G06N20/00 G06K9/62 G06F16/36 G06F16/35 G06F40/157 G06F40/211 G06F40/247 G06F40/274 G06F40/295 G06F40/30
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06N
基于特定计算模型的计算机系统
G06N20/00
机器学习
法律状态
2022-05-31 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载