平行语料的挖掘方法、装置、计算机设备及存储介质
授权
摘要

本发明公开了一种平行语料的挖掘方法,包括:基于多语翻译模型,分别对源句子与每个目标句子进行编码,得到源句子对应的向量和每个目标句子对应的目标编码向量,并将目标编码向量映射到向量空间;针对每个目标句子,计算目标句子对应的相似度分数;基于Top‑K算法,从所有目标句子中,选取K个相似度分数符合预设条件的目标句子,并分别将每个选取的目标句子与源句子组成候选句子对;对候选句子对对应的相似度分数进行正则化处理,并基于得到的正则化处理结果更新候选句子对对应的相似度分数;基于预训练语言模型,对所有候选句子对进行分类,得到候选句子对对应的分类概率,若分类概率大于预设阈值,则将候选句子对作为平行句子。

基本信息
专利标题 :
平行语料的挖掘方法、装置、计算机设备及存储介质
专利标题(英):
暂无
公开(公告)号 :
CN113836192A
申请号 :
CN202110930495.8
公开(公告)日 :
2021-12-24
申请日 :
2021-08-13
授权号 :
CN113836192B
授权日 :
2022-05-03
发明人 :
林余楚黄辉
申请人 :
深译信息科技(横琴)有限公司
申请人地址 :
广东省珠海市横琴新区环岛东路1889号横琴·澳门青年创业谷18栋409室
代理机构 :
深圳众鼎汇成知识产权代理有限公司
代理人 :
朱业刚
优先权 :
CN202110930495.8
主分类号 :
G06F16/2458
IPC分类号 :
G06F16/2458  G06F16/35  G06F40/58  G06F40/211  G06F40/30  G06N3/04  G06N3/08  
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06F
电数字数据处理
G06F16/2458
••••特殊类型的查询,例如统计查询、模糊查询或分布式查询
法律状态
2022-05-03 :
授权
2022-01-11 :
实质审查的生效
IPC(主分类) : G06F 16/2458
申请日 : 20210813
2021-12-24 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
  • 联系电话
    电话:023-6033-8768
    QQ:1493236332
  • 联系 Q Q
    电话:023-6033-8768
    QQ:1493236332
  • 关注微信
    电话:023-6033-8768
    QQ:1493236332
  • 收藏
    电话:023-6033-8768
    QQ:1493236332