一种基于自注意力推理的跨模态图文互索方法
公开
摘要
本发明公开了一种基于自注意力推理的跨模态图文互索方法，属于跨模态检索领域。本发明提出的自注意力推理模型主要包含三个模块：第一部分利用自上而下的预训练骨干网络提取图像显著性特征，而文本分支特征提取，则利用词嵌入+序列化模型类结构得到；第二部分设计了自注意力推理模块，考虑每个边界框对于整体语义的贡献及语义之间的粘合性，并进一步消除不相关语义带来的负面影响；第三部分设计两分支间的交互注意力模块，使得相对应的图像‑文本对拥有更大的权重，以影响后续相似度评定。实验证明，本方法较传统方法具有匹配精度更高、检索速度更快的特点。
基本信息
专利标题 ：
一种基于自注意力推理的跨模态图文互索方法
专利标题（英）：
暂无
公开（公告）号 ：
CN114461821A
申请号 ：
CN202210184249.7
公开（公告）日 ：
2022-05-10
申请日 ：
2022-02-24
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
李召
申请人 ：
中南大学
申请人地址 ：
湖南省长沙市岳麓区麓山南路932号
代理机构 ：
代理人 ：
优先权 ：
CN202210184249.7
主分类号 ：
G06F16/43
IPC分类号 ：
G06F16/43 G06F16/432 G06N3/04 G06N3/08
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F16/43
••查询
法律状态
2022-05-10 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
