一种基于声学和文本特征的多模态情感识别方法
实质审查的生效
摘要

本发明提出了一种基于声学和文本特征的多模态情感识别方法适用于语音和文本情感特征的提取。利用OpenSMILE提取输入语音的情感浅层特征,并与Transformer网络学习浅层特征后得到的深层特征进行融合生成多层次的声学特征;再将语音与转录文本进行强制对齐获取停顿信息,然后将语音中的说话停顿信息编码后添加至转录文本,送入分层密集连接DC‑BERT模型中获取文本特征,再与声学特征融合;通过BiLSTM网络利用先验知识,获取有效的上下文信息,并通过注意力机制抽取特征中突显情感信息的部分以避免信息冗余,在注意力机制后面添加全局平均池化层代替传统使用的全连接层,最后送入softmax层中进行情感分类。其步骤简单,识别精准,具有广泛的实用价值。

基本信息
专利标题 :
一种基于声学和文本特征的多模态情感识别方法
专利标题(英):
暂无
公开(公告)号 :
CN114446324A
申请号 :
CN202210108118.0
公开(公告)日 :
2022-05-06
申请日 :
2022-01-28
授权号 :
暂无
授权日 :
暂无
发明人 :
金赟顾煜俞佳佳
申请人 :
江苏师范大学
申请人地址 :
江苏省徐州市铜山新区上海路101号
代理机构 :
南京瑞弘专利商标事务所(普通合伙)
代理人 :
李悦声
优先权 :
CN202210108118.0
主分类号 :
G10L25/63
IPC分类号 :
G10L25/63  G10L25/30  G10L25/03  G10L25/24  G06F40/30  G06K9/62  G06N3/04  G06N3/08  
IPC结构图谱
G
G部——物理
G10
乐器;声学
G10L
语音分析或合成;语音识别;语音或声音处理;语音或音频编码或解码
G10L25/00
不限于组G10L 15/00-G10L 21/00的语言或者声音分析技术
G10L25/48
专门适用于特定用途
G10L25/51
比较或判别
G10L25/63
情感状态估计
法律状态
2022-05-24 :
实质审查的生效
IPC(主分类) : G10L 25/63
申请日 : 20220128
2022-05-06 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
  • 联系电话
    电话:023-6033-8768
    QQ:1493236332
  • 联系 Q Q
    电话:023-6033-8768
    QQ:1493236332
  • 关注微信
    电话:023-6033-8768
    QQ:1493236332
  • 收藏
    电话:023-6033-8768
    QQ:1493236332