一种基于深度学习的面部动作捕捉方法及系统
授权
摘要
本发明公开了一种基于深度学习的面部动作捕捉方法及系统,包括以下步骤:S1:使用深度相机采集人脸的视频数据和对应的深度数据,构建数据集;S2:构建面部动作识别网络,使用所述数据集进行面部动作识别网络训练;S3:将任意视频序列输入训练后的面部动作识别网络,预测混合形状系数;S4:将所述预测混合形状系数应用于任意的虚拟形象上,驱动虚拟形象的面部动作。系统包括视频采集模块,网络训练模块,面部动作预测模块,虚拟形象动画展示模块。本发明的算法运行速率高,只在训练时使用了深度信息进行训练,在预测阶段只需要输入单相机拍摄的视频就可以完成动作捕捉,无需额外的深度采集设备,可实时的进行面部动作捕捉。
基本信息
专利标题 :
一种基于深度学习的面部动作捕捉方法及系统
专利标题(英):
暂无
公开(公告)号 :
CN114049678A
申请号 :
CN202210023895.5
公开(公告)日 :
2022-02-15
申请日 :
2022-01-11
授权号 :
CN114049678B
授权日 :
2022-04-12
发明人 :
刘逸颖李太豪阮玉平马诗洁郑书凯
申请人 :
之江实验室
申请人地址 :
浙江省杭州市余杭区之江实验室南湖总部
代理机构 :
北京志霖恒远知识产权代理事务所(普通合伙)
代理人 :
奚丽萍
优先权 :
CN202210023895.5
主分类号 :
G06V40/16
IPC分类号 :
G06V40/16 G06V40/20 G06V20/40 G06V10/82 G06V10/774 G06K9/62 G06N3/04 G06T13/40
法律状态
2022-04-12 :
授权
2022-03-04 :
实质审查的生效
IPC(主分类) : G06V 40/16
申请日 : 20220111
申请日 : 20220111
2022-02-15 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载