建立预训练语言模型的方法、语义解析方法和装置

实质审查的生效

摘要

本申请实施例公开了一种建立预训练语言模型的方法、语义解析方法和装置。技术方案包括：获取第一训练数据，第一训练数据包括多于一组的多轮对话样本对和关联表格的模式信息，多轮对话样本对包括一个对话中的多个由自然语言文本及其对应的结构化查询语言(SQL)语句构成的样本对；利用第一训练数据训练得到包括嵌入(Embedding)层和转换(Transformer)网络的预训练语言模型；在训练过程中，将自然语言文本、该自然语言文本的上下文以及模式信息构成的输入序列输入预训练语言模型，执行会话语义解析任务、对话编辑策略预测任务、掩码预测任务和列标签预测任务中的至少一种。本申请适用于需要对结构化表格数据进行建模的场景。

基本信息

专利标题：

建立预训练语言模型的方法、语义解析方法和装置

专利标题（英）：

暂无

公开（公告）号：

CN114547329A

申请号：

CN202210090493.7

公开（公告）日：

2022-05-27

申请日：

2022-01-25

授权号：

暂无

授权日：

暂无

发明人：

耿瑞莹黎槟华石翔惠彬原孙健李永彬

申请人：

阿里巴巴（中国）有限公司

申请人地址：

浙江省杭州市滨江区长河街道网商路699号4号楼5楼508室

代理机构：

北京众达德权知识产权代理有限公司

代理人：

南海燕

优先权：

CN202210090493.7

主分类号：

G06F16/36

IPC分类号：

G06F16/36 G06F40/35 G06F16/242

IPC结构图谱

G部——物理

G06

计算；推算或计数

G06F

电数字数据处理

G06F16/36

••语义工具的产生,例如,本体论或词典

法律状态

2022-06-14 ：

实质审查的生效

IPC(主分类) : G06F 16/36
申请日 : 20220125

2022-05-27 ：

公开

注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。

文件下载

暂无PDF文件可下载