一种基于多模态异质特征融合的视频密集事件描述方法
著录事项变更
摘要

本发明涉及计算机视觉领域,具体涉及一种基于多模态异质特征融合的视频事件描述方法。本发明利用I3D卷积网络剪辑视频并提取动态视觉特征,VGGish模型提取音频韵律特征;将场景对象信息进行语义化表征,生成场景图谱,得到实体编码,属性编码和关系编码,通过图卷积对特征向量进行图嵌入;将提取的三个特征进行三重多模态循环融合;自适应多模态数据平衡,使动态视觉、音频韵律特征相互契合,保证事件提取合理;描述重构解码器,利用描述重构算法对视频事件进行检测,并根据预训练语言字典生成视频场景事件的描述。有效解决了视频描述方法中频繁生成共现描述等无意义描述的问题,并有效利用多模态信息挖掘出场景事件的关系。

基本信息
专利标题 :
一种基于多模态异质特征融合的视频密集事件描述方法
专利标题(英):
暂无
公开(公告)号 :
CN114359768A
申请号 :
CN202111159640.3
公开(公告)日 :
2022-04-15
申请日 :
2021-09-30
授权号 :
暂无
授权日 :
暂无
发明人 :
刘晋龚沛朱张喜亮吴中岱王骏翔郭磊胡蓉韩冰朱晓蓉
申请人 :
中远海运科技股份有限公司;上海船舶运输科学研究所有限公司;大连海事大学
申请人地址 :
上海市浦东新区民生路600号
代理机构 :
北京海虹嘉诚知识产权代理有限公司
代理人 :
张涛
优先权 :
CN202111159640.3
主分类号 :
G06V20/40
IPC分类号 :
G06V20/40  G06V10/762  G06V10/774  G06V10/82  G06V10/80  G06K9/62  G06N3/04  
法律状态
2022-05-13 :
著录事项变更
IPC(主分类) : G06V 20/40
变更事项 : 发明人
变更前 : 刘晋 龚沛朱 张喜亮 吴中岱 王骏翔 郭磊 胡蓉 韩冰 朱晓蓉
变更后 : 刘晋 韩冰 李颖 吴中岱 龚沛朱 张喜亮 王骏翔 郭磊 胡蓉 朱晓蓉
2022-05-03 :
实质审查的生效
IPC(主分类) : G06V 20/40
申请日 : 20210930
2022-04-15 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
  • 联系电话
    电话:023-6033-8768
    QQ:1493236332
  • 联系 Q Q
    电话:023-6033-8768
    QQ:1493236332
  • 关注微信
    电话:023-6033-8768
    QQ:1493236332
  • 收藏
    电话:023-6033-8768
    QQ:1493236332