一种基于注意力机制增强的无监督跨模态检索方法

授权

摘要

本发明属于人工智能智慧社区应用技术领域，涉及一种基于注意力机制增强的无监督跨模态检索方法，先增强图像的视觉语义特征，再聚合不同模态的特征信息,并将融合后的多模态特征映射到同一语义特征空间,然后基于生成对抗网络对图像模态和文本模态特征分别与多模态融合后的同一语义特征进行对抗学习，对齐不同模态的语义特征，最后将生成对抗网络对齐后的不同模态特征分别生成哈希码,并进行模态内特征与其哈希码相似性度量学习与模态间特征与其哈希码相似性度量，减少了不同模态之间的异质语义鸿沟问题，增强了不同模态特征间的依赖关系，从而缩小不同模态数据之间的语义差距，能够更鲁棒地表征不同模态之间的语义共性特征。

基本信息

专利标题：

一种基于注意力机制增强的无监督跨模态检索方法

专利标题（英）：

暂无

公开（公告）号：

CN113971209A

申请号：

CN202111578275.X

公开（公告）日：

2022-01-25

申请日：

2021-12-22

授权号：

CN113971209B

授权日：

2022-04-19

发明人：

刘寒松王永王国强刘瑞翟贵乾

申请人：

松立控股集团股份有限公司

申请人地址：

山东省青岛市市南区宁夏路288号软件园6号楼11层

代理机构：

青岛高晓专利事务所(普通合伙)

代理人：

黄晓敏

优先权：

CN202111578275.X

主分类号：

G06F16/33

IPC分类号：

G06F16/33 G06F16/31 G06F16/583 G06F16/58 G06F16/51 G06V10/74 G06V10/80 G06V10/82 G06K9/62 G06N3/04 G06N3/08