一种基于注意力机制的双模态情感分析方法

授权

摘要

本发明公开了一种基于注意力机制的双模态情感分析方法，使用了预训练的BERT模型和ResNet152模型进行文本和图片的信息编码，在得到文本编码和图片编码后先分别提取了文本模态和图片模态的局部信息和全局信息，充分考虑了模态内的高维特征对最终分类的积极作用。在模态间融合部分，本发明使用了双向注意力机制和门控多模态单元相结合的方式，考虑了图文模态之间双向的交互作用，从而提取到更多互补的信息。在模态间融合之后采取细粒度的特征提取，进一步对所拼接的特征进行过滤，剔除可能冗余的特征，得到更紧凑对情感极性更有益的细粒度特征表示，再对文本模态和图片模态进行加权拼接，从而提高了分类的准确度。

基本信息

专利标题：

一种基于注意力机制的双模态情感分析方法

专利标题（英）：

暂无

公开（公告）号：

CN112860888A

申请号：

CN202110103283.2

公开（公告）日：

2021-05-28

申请日：

2021-01-26

授权号：

CN112860888B

授权日：

2022-05-06

发明人：

林翔鹏王甲海

申请人：

中山大学

申请人地址：

广东省广州市海珠区新港西路135号

代理机构：

广州粤高专利商标代理有限公司

代理人：

张金福

优先权：

CN202110103283.2

主分类号：

G06F16/35

IPC分类号：

G06F16/35 G06K9/62 G06N3/04 G06N3/08

IPC结构图谱

G部——物理

G06

计算；推算或计数

G06F

电数字数据处理

G06F16/35

••聚类；分类

法律状态

2022-05-06 ：

授权

2021-06-15 ：

实质审查的生效

IPC(主分类) : G06F 16/35
申请日 : 20210126

2021-05-28 ：

公开

注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。

文件下载

暂无PDF文件可下载