语言任务的对比预训练
实质审查的生效
摘要
提供了通过对比学习任务的使用来训练机器学习语言编码模型的系统和方法。特别地，本公开描述了对比学习任务，其中编码器学习将输入词元与看似合理的替代物区分开。在一些实现中，在每个训练示例上，所提出的方法掩蔽掉原始输入词元的部分子集(例如，15％)，用来自“生成器”(例如，其可以是小型掩蔽语言模型)的样本来替换掩蔽的词元，并然后训练编码器来预测每个词元是来自原始数据还是由生成器产生的替换。
基本信息
专利标题 ：
语言任务的对比预训练
专利标题（英）：
暂无
公开（公告）号 ：
CN114514540A
申请号 ：
CN202080067604.1
公开（公告）日 ：
2022-05-17
申请日 ：
2020-09-21
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
T.M.梁Q.V.勒K.S.克拉克
申请人 ：
谷歌有限责任公司
申请人地址 ：
美国加利福尼亚州
代理机构 ：
北京市柳沈律师事务所
代理人 ：
金玉洁
优先权 ：
CN202080067604.1
主分类号 ：
G06N20/00
IPC分类号 ：
G06N20/00 G06N5/04 G06F40/40
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06N
基于特定计算模型的计算机系统
G06N20/00
机器学习
法律状态
2022-06-03 ：
实质审查的生效
IPC(主分类) : G06N 20/00
申请日 : 20200921
申请日 : 20200921
2022-05-17 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
