一种基于时空图的跨模态视频时刻定位方法及系统
公开
摘要
本发明公开了一种基于时空图的跨模态视频时刻定位方法及系统，方法包括：S1、输入未剪辑视频和查询文本，对未剪辑视频采用多尺度滑动窗口截取视频片段候选集；S2、提取文本特征和视频片段特征，利用预训练的场景图生成模型对视频片段生成时空图表示；S3、将视频的时空图通过多层图卷积神经网络，获得的时空图特征与视频片段特征拼接，得到富含时空语义信息的视频特征；S4、将含有时空信息的视频特征与文本特征通过全连接层投影到同一特征空间，进行拼接后获得视频文本模态融合特征；S5、将视频文本模态融合特征输入多层感知机网络，获得文本视频匹配分数和位置偏移向量。本发明可以细粒度地理解视频语义信息，返回更加精确的视频定位边界。
基本信息
专利标题 ：
一种基于时空图的跨模态视频时刻定位方法及系统
专利标题（英）：
暂无
公开（公告）号 ：
CN114627402A
申请号 ：
CN202111644165.9
公开（公告）日 ：
2022-06-14
申请日 ：
2021-12-30
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
李肯立平申田泽安张忠阳潘佳铭姜骁
申请人 ：
湖南大学
申请人地址 ：
湖南省长沙市岳麓区麓山南路1号
代理机构 ：
国防科技大学专利服务中心
代理人 ：
刘芳
优先权 ：
CN202111644165.9
主分类号 ：
G06V20/40
IPC分类号 ：
G06V20/40 G06V10/80 G06V10/82 G06N3/04 G06N3/08
法律状态
2022-06-14 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
