一种基于跨模态注意力机制的多模态个性识别方法及系统
实质审查的生效
摘要
本发明公开了一种基于跨模态注意力机制的多模态个性识别方法及系统，方法包括以下步骤：S1：对视频数据进行预处理，分别得到视频数据中的音频文件和视频帧中的人脸图像和场景图像；S2：从音频文件中提取声音特征；S3：分别对人脸图像和场景图像进行图像特征提取；S4：利用跨模注意力机制对提取的声音特征和图像特征进行深层特征提取；S5：将不同模态的深层特征进行加权特征融合，利用预设的全连接层计算个性分数，得到个性结果；S6：将预准备的视频数据划分为训练集、验证集和测试集，重复步骤S1‑S5迭代训练，利用验证集对训练后的模型进行验证，保存验证效果最好的模型用于个性识别。本发明提高了多模态个性识别的准确率。
基本信息
专利标题 ：
一种基于跨模态注意力机制的多模态个性识别方法及系统
专利标题（英）：
暂无
公开（公告）号 ：
CN114549946A
申请号 ：
CN202210159056.6
公开（公告）日 ：
2022-05-27
申请日 ：
2022-02-21
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
王甲海王继武
申请人 ：
中山大学
申请人地址 ：
广东省广州市海珠区新港西路135号
代理机构 ：
广州粤高专利商标代理有限公司
代理人 ：
刘俊
优先权 ：
CN202210159056.6
主分类号 ：
G06V10/80
IPC分类号 ：
G06V10/80 G06V10/774 G06V10/764 G06V10/82 G06V40/16 G10L25/03 G10L25/30 G06N3/04 G06N3/08 G06K9/62
法律状态
2022-06-14 ：
实质审查的生效
IPC(主分类) : G06V 10/80
申请日 : 20220221
申请日 : 20220221
2022-05-27 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
