基于IBMmodel的语料过滤方法及装置
实质审查的生效
摘要
本发明提供一种基于IBMmodel的语料过滤方法及装置，通过搜集目标语言的海量训练语料，包含原文和其对应的标准译文；对原文和其对应的标准译文进行分词，得到第一集合；将所述第一集合输入IBMModel模型中训练，得出词对齐概率分布和词位置对齐概率分布；将需要过滤的目标语料进行分词处理，得到第二集合；根据所述词对齐概率分布和词位置对齐概率分布，计算所述第二集合中语言对之间的对齐概率得分；通过所述对齐概率得分判断是否过滤语料。使用这种方法，可以对语言对之间的语义是否一致进行判断，从而达到高效过滤脏数据的效果。
基本信息
专利标题 ：
基于IBMmodel的语料过滤方法及装置
专利标题（英）：
暂无
公开（公告）号 ：
CN114429123A
申请号 ：
CN202210095739.X
公开（公告）日 ：
2022-05-03
申请日 ：
2022-01-26
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
朱宪超吴阳剑
申请人 ：
四川语言桥信息技术有限公司
申请人地址 ：
四川省成都市中国（四川）自由贸易试验区成都高新区天府大道北段1288号1幢1单元801、802、803号
代理机构 ：
北京知果之信知识产权代理有限公司
代理人 ：
高科
优先权 ：
CN202210095739.X
主分类号 ：
G06F40/216
IPC分类号 ：
G06F40/216 G06F40/284 G06F40/30
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F40/216
使用统计方法
法律状态
2022-05-20 ：
实质审查的生效
IPC(主分类) : G06F 40/216
申请日 : 20220126
申请日 : 20220126
2022-05-03 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
