基于Transformer-CRF的藏文分词方法

实质审查的生效

摘要

本发明公开了一种基于Transformer‑CRF的藏文分词方法，该方法包括：输入数据集、数据预处理、音节扩展、构建基于Transformer‑CRF的藏文分词模型、训练并保存模型及其参数以及输入待分词语料，输出分词结果。本发明以当前音节为中心向左向右扩展两个单元，使用unigram和bigram相结合的方法，可以提取到更多的特征向量。同时，本发明克服了传统分词方法中存在的运算速度、准确率低等缺点。另外，基于Transformer‑CRF的藏文分词模型采用并行计算，大大增加了计算效率，而且模型中的自注意力机制的特征抽取能力比LSTM的特征抽取能力要好。

基本信息

专利标题：

基于Transformer-CRF的藏文分词方法

专利标题（英）：

暂无

公开（公告）号：

CN114330328A

申请号：

CN202111520289.6

公开（公告）日：

2022-04-12

申请日：

2021-12-13

授权号：

暂无

授权日：

暂无

发明人：

于永斌陆瑞军群诺头旦才让唐倩彭辰辉王昊

申请人：

电子科技大学

申请人地址：

四川省成都市高新区（西区）西源大道2006号

代理机构：

电子科技大学专利中心

代理人：

周刘英

优先权：

CN202111520289.6

主分类号：

G06F40/284

IPC分类号：

G06F40/284 G06N3/04 G06N3/08

IPC结构图谱

G部——物理

G06

计算；推算或计数

G06F

电数字数据处理

G06F40/284

词汇分析，例如标记或搭配词

法律状态

2022-04-29 ：

实质审查的生效

IPC(主分类) : G06F 40/284
申请日 : 20211213

2022-04-12 ：

公开

注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。

文件下载

暂无PDF文件可下载