一种同步语义和视觉信息的并行LSTM图像描述生成方法
公开
摘要
本发明公开了一种同步语义和视觉信息的并行LSTM，以及基于该并行LSTM的图像描述生成方法。该方法提出一种同步语义和视觉信息的并行LSTM，通过MIML和ResNet101分别提取属性特征以及视觉特征，并将属性特征和视觉特征作为并行LSTM的输入，在此基础上生成图像的描述语句。并行LSTM结构包含同步进行数据处理和信息传递的属性LSTM和视觉LSTM。属性LSTM的初始化输入为属性特征，通过迭代得到每一个时间步的隐藏层状态，将其视为动态语义特征。视觉LSTM则通过注意力机制，在每一个时间步动态融合属性LSTM输出的语义特征和自己产生的视觉特征，为下一个时间步提供更丰富的信息。这种同步的信息融合方式，使得该方法能在每个时间步同步关注重要的语义和视觉信息，从而产生更为准确的图像描述语句。
基本信息
专利标题 ：
一种同步语义和视觉信息的并行LSTM图像描述生成方法
专利标题（英）：
暂无
公开（公告）号 ：
CN114581913A
申请号 ：
CN202011369916.6
公开（公告）日 ：
2022-06-03
申请日 ：
2020-11-30
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
张静李康康刘刚王占全
申请人 ：
华东理工大学
申请人地址 ：
上海市徐汇区梅陇路130号
代理机构 ：
代理人 ：
优先权 ：
CN202011369916.6
主分类号 ：
G06V30/148
IPC分类号 ：
G06V30/148 G06V10/80 G06V10/82 G06V10/764 G06K9/62 G06N3/04 G06N3/08
法律状态
2022-06-03 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
