一种自然语言处理模型的训练方法和装置
公开
摘要
本申请提供了一种自然语言处理模型的训练方法和装置，该方法包括：获取每一层为采用自注意力机制的层结构的预训练语言模型，获取每一层用于学习NLP任务中的第一任务的第一可学习向量矩阵和第二可学习向量矩阵，然后根据第一可学习向量矩阵和第二可学习向量矩阵生成每一层的第一拼接键向量矩阵和第一拼接值向量矩阵，最后利用第一任务的训练样本数据对第一可学习向量矩阵和第二可学习向量矩阵进行训练。通过第一拼接键向量矩阵和第一拼接值向量矩阵使得第一可学习向量矩阵和第二可学习向量矩阵参与到训练中，由于固定预训练语言模型，大大减少训练参数；使可学习向量矩阵先学习NLP基础任务再学习NLP上层任务，能够提升小样本的学习能力。
基本信息
专利标题 ：
一种自然语言处理模型的训练方法和装置
专利标题（英）：
暂无
公开（公告）号 ：
CN114625840A
申请号 ：
CN202210272019.6
公开（公告）日 ：
2022-06-14
申请日 ：
2022-03-18
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
李健铨刘小康胡加明
申请人 ：
鼎富智能科技有限公司
申请人地址 ：
安徽省合肥市高新区习友路3333号A1楼19层-B区
代理机构 ：
北京弘权知识产权代理有限公司
代理人 ：
李少丹
优先权 ：
CN202210272019.6
主分类号 ：
G06F16/33
IPC分类号 ：
G06F16/33 G06F16/35 G06F40/211 G06F40/30 G06F17/16 G06K9/62
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F16/33
••查询
法律状态
2022-06-14 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
