一种文本的分词方法、系统、计算机设备及存储介质
实质审查的生效
摘要
本发明涉及人工智能技术领域,提供一种文本的分词方法、系统、计算机设备及存储介质,包括:获取待分词的文本;针对所述文本的每句话,按照自左向右的顺序,以结束点为界将该句话分为多个语义块;两个连续的字在待分词的文本所属领域的词表中不存在相连的记录,则将该两个连续字的前一个字记为结束点;对每个语义块进行全切分,得到该语义块的所有可能的切分方式;针对每个语义块所有的切分方式,按照自左向右的顺序进行遍历的概率计算,选择概率最大的一种切分方式,作为最终的分词结果。本发明的分词方案基于概率,在一个块内遍历所有的解,并综合考虑了文本的前后文联系,能够得到更加准确的分词结果,减少了人力成本,提高了分词准确率。
基本信息
专利标题 :
一种文本的分词方法、系统、计算机设备及存储介质
专利标题(英):
暂无
公开(公告)号 :
CN114417854A
申请号 :
CN202111568385.8
公开(公告)日 :
2022-04-29
申请日 :
2021-12-17
授权号 :
暂无
授权日 :
暂无
发明人 :
陈家豪徐亮
申请人 :
深圳壹账通智能科技有限公司
申请人地址 :
广东省深圳市前海深港合作区前湾一路1号A栋201室(入驻深圳市前海商务秘书有限公司)
代理机构 :
上海汉之律师事务所
代理人 :
周婷婷
优先权 :
CN202111568385.8
主分类号 :
G06F40/289
IPC分类号 :
G06F40/289 G06F40/30 G06F40/242 G06F40/216 G06F40/247
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06F
电数字数据处理
G06F40/289
短语分析,例如有限状态技术或分块
法律状态
2022-05-20 :
实质审查的生效
IPC(主分类) : G06F 40/289
申请日 : 20211217
申请日 : 20211217
2022-04-29 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载