基于音视频融合的婴儿哭泣检测方法及装置
公开
摘要
本发明涉及基于音视频融合的婴儿哭泣检测方法及装置。本发明所述的基于音视频融合的婴儿哭泣检测方法包括：获取待检测的音视频文件，将所述音视频文件进行拆分，得到音频数据和视频数据；提取所述音频数据的梅尔频谱图，使用ResNet神经网络提取所述梅尔频谱图的抽象特征，得到语音特征；提取所述视频数据中连续帧的灰度图像，使用3DCNN网络提取所述灰度图像的抽象特征，得到视觉特征；融合所述语音特征和所述视觉特征，得到混合特征；将所述混合特征输入训练好的ResNet残差网络，得到哭泣检测结果。本发明所述的基于音视频融合的婴儿哭泣检测方法及装置，将语音和视觉信息结合起来进行婴儿哭声的自动识别，提高了婴儿哭声检测的准确度。
基本信息
专利标题 ：
基于音视频融合的婴儿哭泣检测方法及装置
专利标题（英）：
暂无
公开（公告）号 ：
CN114582355A
申请号 ：
CN202111422641.2
公开（公告）日 ：
2022-06-03
申请日 ：
2021-11-26
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
余松森刘朋
申请人 ：
华南师范大学
申请人地址 ：
广东省佛山市南海区狮山南海软件园华南师范大学软件学院
代理机构 ：
广州骏思知识产权代理有限公司
代理人 ：
张金龙
优先权 ：
CN202111422641.2
主分类号 ：
G10L17/26
IPC分类号 ：
G10L17/26 G10L17/02 G10L17/18 G10L17/04 G10L25/24 G10L25/57 G06N3/04 G06N3/08
IPC结构图谱
G
G部——物理
G10
乐器；声学
G10L
语音分析或合成；语音识别；语音或声音处理；语音或音频编码或解码
G10L17/00
讲话者辨认或验证
G10L17/26
特殊语音特征的识别，例如测谎器的使用；动物声音识别
法律状态
2022-06-03 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
