平滑处理方法和系统

授权

摘要

本发明涉及自然语言处理技术领域，特别是涉及一种平滑处理方法和系统，方法包括以下步骤：统计缺失词语在目标语料库中的第一出现次数，其中，缺失词语为在原语料库中出现次数为0的词语；根据第一出现次数计算缺失词语的归一化频率指标；根据归一化频率指标和剩余概率计算缺失词语的平滑概率，根据平滑概率对缺失词语进行平滑处理，其中，剩余概率为从原语料库中出现次数小于或等于k次的词语的出现概率之和，k为正整数。上述方法和系统能够解决了传统的平滑处理方式效果差的问题，区分缺失词语可能出现的词语本身出错和语料本身覆盖不足这两种情况，对缺失词语进行平滑处理，减少误判，增强平滑处理效果。

基本信息

专利标题：

平滑处理方法和系统

专利标题（英）：

暂无

公开（公告）号：

CN108829657A

申请号：

CN201810344157.4

公开（公告）日：

2018-11-16

申请日：

2018-04-17

授权号：

CN108829657B

授权日：

2022-05-03

发明人：

李贤

申请人：

广州视源电子科技股份有限公司

申请人地址：

广东省广州市黄埔区云埔四路6号

代理机构：

广州华进联合专利商标代理有限公司

代理人：

余永文

优先权：

CN201810344157.4

主分类号：

G06F17/27

IPC分类号：

G06F17/27