一种基于面向对象的双流注意力网络的视频问答方法
实质审查的生效
摘要
本发明公开了一种基于面向对象的双流注意力网络的视频问答方法。使用双流机制来表示视频的视觉内容，其中一个流为前景对象的静态外观流，另一个流为前景对象的动态行为流。在每个流中，对象的特征既包括对象本身的特征，还包括对象的时空编码和对象所在场景的上下文信息特征。在后续的图卷积操作进行深层特征提取的时候可以探索到对象之间的相对时空关系与上下文感知关系。同时，使用双流机制解决了此前视频问答模型只考虑对象静态特征而缺乏对动态信息分析的问题。本发明提高了对模态内交互和模态间语义对齐的探索能力，在相关视频问答数据集上取得了较好的结果。
基本信息
专利标题 ：
一种基于面向对象的双流注意力网络的视频问答方法
专利标题（英）：
暂无
公开（公告）号 ：
CN114428866A
申请号 ：
CN202210094738.3
公开（公告）日 ：
2022-05-03
申请日 ：
2022-01-26
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
俞俊张欣
申请人 ：
杭州电子科技大学
申请人地址 ：
浙江省杭州市下沙高教园区2号大街
代理机构 ：
杭州君度专利代理事务所(特殊普通合伙)
代理人 ：
朱月芬
优先权 ：
CN202210094738.3
主分类号 ：
G06F16/48
IPC分类号 ：
G06F16/48 G06F16/483 G06F16/487 G06V20/40 G06V10/80 G06V10/82 G06K9/62 G06N3/04 G06N3/08 H04N19/23 H04N19/30
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F16/48
••使用元数据的特征检索,例如,不来自内容或者元数据派生的
法律状态
2022-05-20 ：
实质审查的生效
IPC(主分类) : G06F 16/48
申请日 : 20220126
申请日 : 20220126
2022-05-03 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
