基于跨模态动态卷积的视频多模态情感识别方法、装置及计算机...
实质审查的生效
摘要
本发明涉及自然语言处理、深度学习、多模态情感分析领域，涉及一种基于跨模态动态卷积的视频多模态情感识别方法、装置及计算机设备，所述方法包括使用ERNIE2.0预训练模型、DCCN、ResNet‑152和胶囊网络分别对文本、音频、图像提取出单模态低级特征；使用词对齐对三个模态特征进行对齐；采用双向GRU对上述特征进行处理，得到各模态高级特征；利用跨模态动态卷积对三个模态特征进行交互；拼接各个模态的跨模态交互特征和高级特征，并利用多头注意力机制融合；最后输入到softmax函数中得到情感识别结果；本发明很好的融合了各单模态特征，有效挖掘视频中所表达的情感信息，从而提升了多模态情感识别的准确率及效率。
基本信息
专利标题 ：
基于跨模态动态卷积的视频多模态情感识别方法、装置及计算机设备
专利标题（英）：
暂无
公开（公告）号 ：
CN114511906A
申请号 ：
CN202210067242.7
公开（公告）日 ：
2022-05-17
申请日 ：
2022-01-20
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
郭艳霞唐宏金勇彭金枝
申请人 ：
重庆邮电大学
申请人地址 ：
重庆市南岸区南山街道崇文路2号
代理机构 ：
重庆辉腾律师事务所
代理人 ：
王海军
优先权 ：
CN202210067242.7
主分类号 ：
G06V40/16
IPC分类号 ：
G06V40/16 G06V20/40 G06N3/04 G06K9/62 G10L25/03 G10L25/30 G06V10/80 G06V10/82
法律状态
2022-06-03 ：
实质审查的生效
IPC(主分类) : G06V 40/16
申请日 : 20220120
申请日 : 20220120
2022-05-17 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
