融合视觉常识和增强多层全局特征的图像描述生成方法

授权

摘要

本发明涉及计算机视觉技术领域，具体公开了一种融合视觉常识和增强多层全局特征的图像描述生成方法，融合VC R‑CNN提取的视觉常识特征和FasterR‑CNN提取的局部特征，得到融合特征；采用X线性注意力机制挖掘对象之间的视觉语义关系，以获得高层局部特征和多层全局特征；采用AoA机制增强多层全局特征，线性映射得到融合全局特征；利用视觉选择的长短时记忆对融合全局特征进行筛选，并采用X线性注意力机制对高层局部特征加权自适应地选择相关信息，最后使用语义解码的门控线性单元生成输出单词序列。解决了局部特征的图像描述生成模型对视觉语义关系挖掘不充分，且注意力机制提取的多层全局特征存在冗余信息的问题。

基本信息

专利标题：

融合视觉常识和增强多层全局特征的图像描述生成方法

专利标题（英）：

暂无

公开（公告）号：

CN113378919A

申请号：

CN202110642157.4

公开（公告）日：

2021-09-10

申请日：

2021-06-09

授权号：

CN113378919B

授权日：

2022-06-14

发明人：

杨有方小龙尚晋胡峻滔姚露边雅琳

申请人：

重庆师范大学

申请人地址：

重庆市沙坪坝区大学城中路37号

代理机构：

重庆莫斯专利代理事务所(普通合伙)

代理人：

刘强

优先权：

CN202110642157.4

主分类号：

G06K9/62

IPC分类号：

G06K9/62 G06K9/46 G06N3/04 G06N3/08