多粒度级联交互网络的跨模态时序行为定位方法及装置

授权

摘要

本发明公开了多粒度级联交互网络的跨模态时序行为定位方法及装置，用于解决未修剪视频中基于给定文本查询的时序行为定位问题。本发明实施一种新的多粒度级联跨模态交互网络，以由粗到细的方式进行级联跨模态交互，用以提升模型的跨模态对齐能力。此外，本发明引入了一种局部‑全局上下文感知的视频编码器(local‑global context‑aware video encoder)，用于提升视频编码器的上下文时序依赖建模能力。本发明实现方法简单，手段灵活，在提升视觉‑语言跨模态对齐精度方面具有优势，且训练所得模型在成对的视频‑查询测试数据上可显著提升时序定位准确度。

基本信息

专利标题：

多粒度级联交互网络的跨模态时序行为定位方法及装置

专利标题（英）：

暂无

公开（公告）号：

CN114064967A

申请号：

CN202210052687.8

公开（公告）日：

2022-02-18

申请日：

2022-01-18

授权号：

CN114064967B

授权日：

2022-05-06

发明人：

王聪鲍虎军宋明黎

申请人：

之江实验室

申请人地址：

浙江省杭州市余杭区中泰街道之江实验室新园区

代理机构：

杭州浙科专利事务所(普通合伙)

代理人：

孙孟辉

优先权：

CN202210052687.8

主分类号：

G06F16/735

IPC分类号：

G06F16/735 G06F16/78 G06F16/783 G06N3/04 G06N3/08 H04N19/149 H04N19/21