文本分词方法、装置、电子设备及计算机可读存储介质
公开
摘要

本申请实施例提供了一种文本分词方法、装置、电子设备及计算机可读存储介质,涉及文本处理技术领域。该方法包括:获取待分词文本;基于样本词汇库中词汇的分词等级进行第一次分词,基于预设的分词模型进行第二次分词,并确定待分词文本的可分词词汇和各可分词词汇的重要性系数,计算概率最大的分词组合确定为所述待分词文本的分词结果。本申请实施例通过第一次分词,保证优先级高的词汇会被优先分词,不会被覆盖,通过模型继续分词,保证所有待分词文本都能够被分词,再通过确定可被分词的词汇,并计算各可被分词的词汇的重要性系数,采用预设的分词组合概率算法,计算概率最大的分词组合,确定待分词文本的分词结果,保证分词的准确性。

基本信息
专利标题 :
文本分词方法、装置、电子设备及计算机可读存储介质
专利标题(英):
暂无
公开(公告)号 :
CN114626375A
申请号 :
CN202110432388.2
公开(公告)日 :
2022-06-14
申请日 :
2021-04-21
授权号 :
暂无
授权日 :
暂无
发明人 :
于福超郭峰高杨
申请人 :
亚信科技(南京)有限公司
申请人地址 :
江苏省南京市鼓楼区古平岗4号鼓楼紫金智梦园B座
代理机构 :
北京市立方律师事务所
代理人 :
张筱宁
优先权 :
CN202110432388.2
主分类号 :
G06F40/289
IPC分类号 :
G06F40/289  
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06F
电数字数据处理
G06F40/289
短语分析,例如有限状态技术或分块
法律状态
2022-06-14 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
  • 联系电话
    电话:023-6033-8768
    QQ:1493236332
  • 联系 Q Q
    电话:023-6033-8768
    QQ:1493236332
  • 关注微信
    电话:023-6033-8768
    QQ:1493236332
  • 收藏
    电话:023-6033-8768
    QQ:1493236332