一种基于密集交叉注意力的指称表达生成方法
实质审查的生效
摘要
本发明公开了一种基于密集交叉注意力的指称表达生成方法，首先构建特征提取模块，从给定图像中提取目标特征；然后构建对象上下文注意模块，通过对象上下文注意模块得到目标的最终特征；然后将最终特征进行平均池化获得最终的视觉特征，使用LSTM作为生成模块，在每个时间步，将单词特征、视觉特征和隐藏状态连接，并将其作为LSTM模型的输入，LSTM模型的输出即为最终结果；损失函数采用生成损失和三元组损失组合。本发明可以对多模态数据进行建模并学习细粒度的特征表示，并能够在没有实例级注释的情况下生成无歧义的表达式。
基本信息
专利标题 ：
一种基于密集交叉注意力的指称表达生成方法
专利标题（英）：
暂无
公开（公告）号 ：
CN114494813A
申请号 ：
CN202111601881.9
公开（公告）日 ：
2022-05-13
申请日 ：
2021-12-24
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
王鹏孙梦阳索伟雷笑语
申请人 ：
西北工业大学
申请人地址 ：
陕西省西安市友谊西路127号
代理机构 ：
西北工业大学专利中心
代理人 ：
金凤
优先权 ：
CN202111601881.9
主分类号 ：
G06V10/82
IPC分类号 ：
G06V10/82 G06N5/04 G06N3/04 G06N3/08
法律状态
2022-05-31 ：
实质审查的生效
IPC(主分类) : G06V 10/82
申请日 : 20211224
申请日 : 20211224
2022-05-13 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
