语言模型的预训练方法、语言文本的处理方法及装置
公开
摘要
本申请公开了一种语言模型的预训练方法、语言文本的处理方法及装置，涉及自然语言处理领域。该方法在对初始模型进行预训练的过程中，能够通过知识探针对预训练后的初始模型的准确度进行检测，并能够在检测到准确度收敛时停止预训练，得到语言模型。由此，可以避免语言模型在预训练的过程中出现过拟合或者欠拟合的现象，确保预训练得到的语言模型的性能较好。并且，通过知识探针对初始模型进行检测，可以较为准确地确定出初始模型对训练样本集合中各个训练样本的学习情况，进而能准确地确定预训练的较佳停止点。
基本信息
专利标题 ：
语言模型的预训练方法、语言文本的处理方法及装置
专利标题（英）：
暂无
公开（公告）号 ：
CN114330297A
申请号 ：
CN202111445237.7
公开（公告）日 ：
2022-04-12
申请日 ：
2021-11-30
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
侯逸帆杨奕凡
申请人 ：
腾讯科技（深圳）有限公司
申请人地址 ：
广东省深圳市南山区高新区科技中一路腾讯大厦35层
代理机构 ：
北京三高永信知识产权代理有限责任公司
代理人 ：
李文静
优先权 ：
CN202111445237.7
主分类号 ：
G06F40/216
IPC分类号 ：
G06F40/216 G06F16/35 G06K9/62
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F40/216
使用统计方法
法律状态
2022-04-12 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
