一种可交互Transformer的多模态视频密集事件描述...
实质审查的生效
摘要
本发明涉及一种可交互Transformer的多模态视频密集事件描述算法，属于视频算法技术领域。该方法包括以下步骤，1、提取视频中的视觉特征、音频特征、语音特征；通过多模态的特征提取，更好地利用视频中的信息；2、通过可交互Transformer内部的可交互注意力模块，将视觉特征分别与音频特征和语音特征融合，进一步编码视频特征。3、模型训练分两阶段完成；首先，基于真实的视频分段训练描述模型，然后冻结训练好的描述模型编码器权重，再训练分段提议模型。本发明充分利用了视频中的特征信息，并对多模态的特征进行了交互融合，展现了良好的密集视频描述效果。
基本信息
专利标题 ：
一种可交互Transformer的多模态视频密集事件描述算法
专利标题（英）：
暂无
公开（公告）号 ：
CN114461851A
申请号 ：
CN202111543315.7
公开（公告）日 ：
2022-05-10
申请日 ：
2021-12-16
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
陈国文杨昊
申请人 ：
苏州零样本智能科技有限公司
申请人地址 ：
江苏省苏州市昆山开发区春旭路168号帝宝金融大厦17层1701-13室
代理机构 ：
石家庄优博创信知识产权代理事务所(普通合伙)
代理人 ：
关勇
优先权 ：
CN202111543315.7
主分类号 ：
G06F16/738
IPC分类号 ：
G06F16/738 G06F16/783 G06K9/62 G06N3/04 G06N3/08
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F16/738
•••查询结果的可视化
法律状态
2022-05-27 ：
实质审查的生效
IPC(主分类) : G06F 16/738
申请日 : 20211216
申请日 : 20211216
2022-05-10 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
