视觉语言识别方法、装置、电子设备及存储介质
公开
摘要
本公开提供一种视觉语言识别方法、装置、电子设备及存储介质。其中，视觉语言识别方法，包括：获取目标视频并对所述目标视频进行预处理和特征提取，得到唇部运动特征序列；通过U‑Net网络对所述唇部运动特征序列中的唇部运动特征进行时域采样，构建音频特征序列；将所述音频特征序列中的音频特征与所述唇部运动特征序列中的所述唇部运动特征进行特征融合，得到融合特征序列；通过预先训练的特征时序建模网络对所述融合特征序列进行识别，得到文字序列。本公开不仅实现了在不增加太多计算量的同时增加视觉语言的识别精度，而且在输出文本的同时能输出音频信息，有效增加了对输出结果的判断依据，使得视觉语言识别的结果更加准确。
基本信息
专利标题 ：
视觉语言识别方法、装置、电子设备及存储介质
专利标题（英）：
暂无
公开（公告）号 ：
CN114581812A
申请号 ：
CN202210034502.0
公开（公告）日 ：
2022-06-03
申请日 ：
2022-01-12
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
谢东亮孙保胜
申请人 ：
北京云辰信通科技有限公司
申请人地址 ：
北京市海淀区大钟寺东路9号1幢B座1层119-152
代理机构 ：
北京风雅颂专利代理有限公司
代理人 ：
徐雅琴
优先权 ：
CN202210034502.0
主分类号 ：
G06V20/40
IPC分类号 ：
G06V20/40 G06K9/62 G06N3/04 G06N3/08 G06V30/148 G06V40/20 G06V10/764
法律状态
2022-06-03 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
