基于多模语音信息互补与门控制的情绪识别方法
实质审查的生效
摘要
本发明提供的基于多模语音信息互补与门控制的情绪识别方法，属于多模态情绪识别技术领域，包括以下步骤：S1提取目标视频中的音频特征与文本特征；S2对音频特征与文本特征进行特征双向融合；S3通过可学习门控制机制调节S2中的双向融合的结果中融合表征的比例，并输出；S4对S3中可学习门控制机制的输出进行拼接，最终获得情绪类别输出。本发明将门控机制应用于交叉注意力模块，以决定是保留源模态信息还是覆盖目标模态信息，调节源模态信息和目标模态信息的比例，从而平衡了识别的准确率与模型的参数量。
基本信息
专利标题 ：
基于多模语音信息互补与门控制的情绪识别方法
专利标题（英）：
暂无
公开（公告）号 ：
CN114494969A
申请号 ：
CN202210106236.8
公开（公告）日 ：
2022-05-13
申请日 ：
2022-01-28
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
刘峰李知函齐佳音周爱民李志斌
申请人 ：
上海对外经贸大学;华东师范大学
申请人地址 ：
上海市徐汇区古北路620号
代理机构 ：
无锡市汇诚永信专利代理事务所(普通合伙)
代理人 ：
郭慧
优先权 ：
CN202210106236.8
主分类号 ：
G06V20/40
IPC分类号 ：
G06V20/40 G06V10/80 G06V10/82 G06K9/62 G06N3/04 G06N3/08
法律状态
2022-05-31 ：
实质审查的生效
IPC(主分类) : G06V 20/40
申请日 : 20220128
申请日 : 20220128
2022-05-13 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
