基于对比学习和自适应注意力的图像描述生成方法及介质
公开
摘要
本发明公开了基于对比学习和自适应注意力的图像描述生成方法及介质，包括提取图像的网格特征、对象特征和文本特征作为输入，并采用不同的注意力机制生成相应的注意力特征，将不同层次的特征投影到一个统一的目标空间中，探索不同层次的特征空间之间的内在关系，并引入了上下文门控机制，以平衡低级上下文和高级上下文的贡献，将图像描述文本编码向量输入到预训练好的语言模型中，得到语言特征信号，将当前预测词的隐藏状态表示、图像的最终视觉特征表示和语言特征信号作为自适应注意力模型的输入，从而动态生成视觉词和非视觉词；并通过对比学习的训练方式，提升图像描述的辨识度。
基本信息
专利标题 ：
基于对比学习和自适应注意力的图像描述生成方法及介质
专利标题（英）：
暂无
公开（公告）号 ：
CN114612891A
申请号 ：
CN202210232789.8
公开（公告）日 ：
2022-06-10
申请日 ：
2022-03-09
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
谢剑青张艳青
申请人 ：
华南理工大学
申请人地址 ：
广东省广州市南沙区环市大道南路25号华工大广州产研院
代理机构 ：
广州市华学知识产权代理有限公司
代理人 ：
王东东
优先权 ：
CN202210232789.8
主分类号 ：
G06V20/62
IPC分类号 ：
G06V20/62 G06F40/30 G06N3/04 G06N3/08 G06V10/82
法律状态
2022-06-10 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
