一种基于预训练语言模型的文本生成方法
实质审查的生效
摘要

一种基于预训练语言模型的文本生成方法,它属于自然语言处理技术领域。本发明解决了现有加权解码的可控生成方法无法在保证生成文本质量的前提下达到理想风格强度的问题。本发明提出了能够动态调节控制器权重的加权解码框架,该框架使用了一个规整模块,能够根据当前解码位置的语言模型信息对控制器的行为进行约束。如果当前解码位置不适合生成包含目标风格的词语时,规整模块会抑制控制器并使其失效;如果当前解码位置可以生成与目标风格相关的词语时,规整模块会增强控制器并确保在该解码位置生成的词语包含目标风格。本发明方法可以应用于可控文本生成。

基本信息
专利标题 :
一种基于预训练语言模型的文本生成方法
专利标题(英):
暂无
公开(公告)号 :
CN114510924A
申请号 :
CN202210133050.1
公开(公告)日 :
2022-05-17
申请日 :
2022-02-14
授权号 :
暂无
授权日 :
暂无
发明人 :
冯骁骋秦兵顾宇轩刘挺马思成
申请人 :
哈尔滨工业大学
申请人地址 :
黑龙江省哈尔滨市南岗区西大直街92号
代理机构 :
哈尔滨华夏松花江知识产权代理有限公司
代理人 :
岳昕
优先权 :
CN202210133050.1
主分类号 :
G06F40/216
IPC分类号 :
G06F40/216  G06F40/289  G06F40/30  G06F16/35  
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06F
电数字数据处理
G06F40/216
使用统计方法
法律状态
2022-06-03 :
实质审查的生效
IPC(主分类) : G06F 40/216
申请日 : 20220214
2022-05-17 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
  • 联系电话
    电话:023-6033-8768
    QQ:1493236332
  • 联系 Q Q
    电话:023-6033-8768
    QQ:1493236332
  • 关注微信
    电话:023-6033-8768
    QQ:1493236332
  • 收藏
    电话:023-6033-8768
    QQ:1493236332