基于视觉面部轮廓运动的构音障碍语音识别方法及系统
授权
摘要
本发明公布了一种基于视觉面部轮廓运动的构音障碍语音识别方法及系统,系统包括多模态数据获取、多模态融合特征计算、多模态语音识别计算和语言模型计算模块;多模态数据获取算模块用于获取构音障碍者的面部轮廓运动视频数据和与视频同步的语音数据;多模态融合特征计算模块用于融合面部轮廓运动特征和语音声学特征;多模态语音识别计算模块用于获得由多模态特征到音素字符的映射关系;语言模型计算模块用于获得由音素字符到中文句子的映射关系。本发明通过融合语音声学特征参数与构音障碍者的发音动作得到融合后的多模态特征,利用融合后的多模态特征进行构音障碍语音识别,由此有效地提升构音障碍语音识别准确度。
基本信息
专利标题 :
基于视觉面部轮廓运动的构音障碍语音识别方法及系统
专利标题(英):
暂无
公开(公告)号 :
CN113241065A
申请号 :
CN202110512052.7
公开(公告)日 :
2021-08-10
申请日 :
2021-05-11
授权号 :
CN113241065B
授权日 :
2022-05-24
发明人 :
钱兆鹏于重重苏小苏
申请人 :
北京工商大学
申请人地址 :
北京市海淀区阜成路33号
代理机构 :
北京万象新悦知识产权代理有限公司
代理人 :
黄凤茹
优先权 :
CN202110512052.7
主分类号 :
G10L15/183
IPC分类号 :
G10L15/183 G10L15/16 G10L15/22 G10L15/25 G10L15/26 G10L25/24
IPC结构图谱
G
G部——物理
G10
乐器;声学
G10L
语音分析或合成;语音识别;语音或声音处理;语音或音频编码或解码
G10L15/00
语音识别
G10L15/08
语音分类或检索
G10L15/18
利用自然语言模型
G10L15/183
用上下文相关性,例如:语言模型
法律状态
2022-05-24 :
授权
2021-08-27 :
实质审查的生效
IPC(主分类) : G10L 15/183
申请日 : 20210511
申请日 : 20210511
2021-08-10 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载