语言模型的训练方法及装置
公开
摘要
提供一种语言模型的训练方法及装置。该语言模型的训练方法包括：接收输入的训练数据，其中，训练数据包括给定词和所述给定词的上下文；基于所述给定词和所述给定词的上下文，生成训练数据在目标语言中的词的上下文相关向量的代理，并且基于所述给定词的上下文，生成训练数据在源语言中的上下文相关的词向量；基于词的上下文相关向量的代理和上下文相关的词向量确定源语言和目标语言的对齐概率作为损失函数；并且基于所述损失函数进行训练，从而实现跨语言对齐的目的，提高了语言模型的质量。
基本信息
专利标题 ：
语言模型的训练方法及装置
专利标题（英）：
暂无
公开（公告）号 ：
CN114330290A
申请号 ：
CN202011053142.6
公开（公告）日 ：
2022-04-12
申请日 ：
2020-09-29
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
庄毅萌
申请人 ：
北京三星通信技术研究有限公司;三星电子株式会社
申请人地址 ：
北京市朝阳区太阳宫中路12号楼15层1503
代理机构 ：
北京铭硕知识产权代理有限公司
代理人 ：
王皎彤
优先权 ：
CN202011053142.6
主分类号 ：
G06F40/211
IPC分类号 ：
G06F40/211 G06F40/284 G06F40/30
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F40/211
句法分析，例如 基于无上下文语法或统一语法
法律状态
2022-04-12 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
