新词发现的方法及装置

授权

摘要

本发明涉及自然语言处理领域，尤其涉及一种新词发现方法及装置，提供了一种在舆情处理和挖掘中，对于时间序列的舆情文本进行新词发现的方法。该方法包括：对当前日期的舆情文本进行CRF分词和预处理。统计候选词的左右熵和互信息，计算成词概率。将当前日期的候选词与以前的候选词比较，选出左右熵和互信息变化较大的候选词，做为新词输出。本发明有效的利用信息熵和互信息，在时间维度上进行分析和挖掘新词，可有效提高新词发现的准确度。

基本信息

专利标题：

新词发现的方法及装置

专利标题（英）：

暂无

公开（公告）号：

CN108829658A

申请号：

CN201810409083.8

公开（公告）日：

2018-11-16

申请日：

2018-05-02

授权号：

CN108829658B

授权日：

2022-05-24

发明人：

江跃华周二亮武树超刘伟

申请人：

石家庄天亮教育科技有限公司

申请人地址：

河北省石家庄市高新区闽江道6号紫睿天和1-2-801

代理机构：

河北国维致远知识产权代理有限公司

代理人：

马卫青

优先权：

CN201810409083.8

主分类号：

G06F17/27

IPC分类号：

G06F17/27