基于动态卷积和捷径的视频检索模型
公开
摘要
本文提出了一种视频检索框架，其包括视频编码器，视频编码器采用MMT对输入视频中提取的多个模态进行处理，所述MMT包括：与多个模态对应的多个输入端，用于接收与所述多个模态相对应的多个视频嵌入，用于输出输入视频的视频特征表示的多个输出端，以及在多个输入端与多个输出端之间的、以转换器编码器为节点的全连接网络，其中，转换器编码器包括多头注意力模块，其接收查询(Q)、键(K)和值(V)作为输入，并且进一步包括：子注意力子模块，其接收查询(Q)、键(K)和值(V)，并将查询和一组键‑值对映射到输出；基于跨度的动态卷积子模块，其接收查询(Q)、键(K)和值(V)，对键(K)应用卷积以得到卷积键(Ks)，并将查询和一组卷积键‑值对映射到输出；以及联接器，其用于连接子注意力子模块的输出和基于跨度的动态卷积子模块的输出。
基本信息
专利标题 ：
基于动态卷积和捷径的视频检索模型
专利标题（英）：
暂无
公开（公告）号 ：
CN114579803A
申请号 ：
CN202210223064.2
公开（公告）日 ：
2022-06-03
申请日 ：
2022-03-09
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
刘志张萌萌
申请人 ：
北方工业大学
申请人地址 ：
北京市石景山区晋元庄路5号北方工业大学
代理机构 ：
代理人 ：
优先权 ：
CN202210223064.2
主分类号 ：
G06F16/78
IPC分类号 ：
G06F16/78 G06F16/783 G06K9/62 G06N3/04 G06N3/08
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F16/78
••基于相关的元数据或手动分类，如目录数据
法律状态
2022-06-03 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
