基于深度学习的手语翻译视频生成方法及系统
授权
摘要
本发明公开了一种基于深度学习的手语翻译视频生成方法及系统,其中,该方法包括:通过数据集的手语视频循环训练变分自编码器模型和环状生成对抗网络模型,直至达到预设维度,输出图像低维特征序列;通过数据集的语言文本序列训练语言翻译模型,输出与图像低维特征序列对应的文本低维特征序列,以构建语言文本序列与手语视频的映射关系;基于映射关系,将待测语言文本序列输入语言翻译模型,映射出待测语言文本序列对应的图像低维特征序列,视频模型解码图像低维特征序列,生成对应的手语视频。本发明实施例的方法通过构建压缩隐空间来对图像进行降维处理,解决视频生成问题对计算机存储与计算能力的极高要求,可以使用通用语言模型进行翻译训练。
基本信息
专利标题 :
基于深度学习的手语翻译视频生成方法及系统
专利标题(英):
暂无
公开(公告)号 :
CN110728203A
申请号 :
CN201910900738.6
公开(公告)日 :
2020-01-24
申请日 :
2019-09-23
授权号 :
CN110728203B
授权日 :
2022-04-12
发明人 :
徐枫薄子豪娄昕杨东兰怡娜雍俊海戴琼海
申请人 :
清华大学;中国人民解放军总医院
申请人地址 :
北京市海淀区清华园
代理机构 :
北京清亦华知识产权代理事务所(普通合伙)
代理人 :
王艳斌
优先权 :
CN201910900738.6
主分类号 :
G06K9/00
IPC分类号 :
G06K9/00 G06F40/58
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06K
数据识别;数据表示;记录载体;记录载体的处理
G06K9/00
用于阅读或识别印刷或书写字符或者用于识别图形,例如,指纹的方法或装置
法律状态
2022-04-12 :
授权
2020-02-25 :
实质审查的生效
IPC(主分类) : G06K 9/00
申请日 : 20190923
申请日 : 20190923
2020-01-24 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载