一种基于注意力机制的跨模态特征融合系统
实质审查的生效
摘要
本发明提供一种基于注意力机制的跨模态特征融合系统，该系统基于音频和视频图像两者信息的互补关系，提出了用有监督对比学习作为框架的方法来提取音视频两个模态的特征，同时构建了音视频关联分析模块，实现音视频对齐，并设计了一种基于注意力机制的跨模态特征融合模块，以实现音视频特征的融合。将音频和RGB图片作为输入来达到对视频表示进行学习的目的。
基本信息
专利标题 ：
一种基于注意力机制的跨模态特征融合系统
专利标题（英）：
暂无
公开（公告）号 ：
CN114329036A
申请号 ：
CN202210256553.8
公开（公告）日 ：
2022-04-12
申请日 ：
2022-03-16
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
王青兰浩源刘阳林倞
申请人 ：
中山大学
申请人地址 ：
广东省广州市海珠区新港西路135号
代理机构 ：
广州粤高专利商标代理有限公司
代理人 ：
禹小明
优先权 ：
CN202210256553.8
主分类号 ：
G06F16/583
IPC分类号 ：
G06F16/583 G06F16/55 G06F16/65 G06F16/683 G06V10/764 G06V10/82 G06V10/80 G06K9/62 G06N3/04 G06N3/08
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F16/583
•••使用从内容中自动派生的元数据
法律状态
2022-04-29 ：
实质审查的生效
IPC(主分类) : G06F 16/583
申请日 : 20220316
申请日 : 20220316
2022-04-12 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
