基于对比学习的预训练语言模型处理方法和智能问答系统
实质审查的生效
摘要

公开了一种基于对比学习的预训练语言模型处理方法和智能问答系统。所述方法包括:向样本添加提示占位符和掩码输出占位符以得到经处理的训练样本;将所述经处理的训练样本输入所述预训练语言模型PLM,以得到对掩码输出进行连续化表征的嵌入;以及以第一损失函数对所述PLM的神经网络进行调整,所述第一损失函数用于最小化同类样本的嵌入的组内距离,最大化非同类样本的嵌入的组间距离。本发明基于对比学习的思路,使得正负例在损失函数的约束下彼此远离,从而能够在不增添任何新参数以及避免人为设置任何模板和标签词的情况下实现高效的小样本学习。配备了基于此方法获取模型的智能问答系统能够获取良好的问题匹配能力。

基本信息
专利标题 :
基于对比学习的预训练语言模型处理方法和智能问答系统
专利标题(英):
暂无
公开(公告)号 :
CN114528383A
申请号 :
CN202111646422.2
公开(公告)日 :
2022-05-24
申请日 :
2021-12-29
授权号 :
暂无
授权日 :
暂无
发明人 :
汪诚愚徐子云邱明辉黄俊
申请人 :
阿里云计算有限公司
申请人地址 :
浙江省杭州市西湖区转塘科技经济区块12号
代理机构 :
北京展翼知识产权代理事务所(特殊普通合伙)
代理人 :
张阳
优先权 :
CN202111646422.2
主分类号 :
G06F16/332
IPC分类号 :
G06F16/332  G06F16/35  G06F40/205  
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06F
电数字数据处理
G06F16/332
•••查询公式
法律状态
2022-06-10 :
实质审查的生效
IPC(主分类) : G06F 16/332
申请日 : 20211229
2022-05-24 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
  • 联系电话
    电话:023-6033-8768
    QQ:1493236332
  • 联系 Q Q
    电话:023-6033-8768
    QQ:1493236332
  • 关注微信
    电话:023-6033-8768
    QQ:1493236332
  • 收藏
    电话:023-6033-8768
    QQ:1493236332