一种多模态会议数据结构化方法、装置及计算机设备
公开
摘要
本发明公开了一种多模态会议数据结构化方法、装置及计算机设备，该方法包括：S1，构建音视频多模态会议数据集；S2，构建多模态声源定位网络进行预训练；S3，利用多模态声源定位网络对音视频多模态会议音视频序列形状重整、数据扩展、匹配融合预处理，获得会场声源热图；S4，构建和训练人脸识别网络，对视频帧生成人脸定位框和人脸特征向量；S5，根据会场声源热图与人脸定位框的质心距离筛选发言人的视觉信息；S6，将音频流编码为语音特征向量，通过声纹识别得到发言人身份标签；S7，构建基于说话人身份的语音分割模型；S8，逐帧添加说话人身份标签；S9，将S5至S8的输出信息整合到会议音视频数据中，进行结构化存储。
基本信息
专利标题 ：
一种多模态会议数据结构化方法、装置及计算机设备
专利标题（英）：
暂无
公开（公告）号 ：
CN114298170A
申请号 ：
CN202111512455.8
公开（公告）日 ：
2022-04-08
申请日 ：
2021-12-08
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
付宇卓刘婷
申请人 ：
上海交通大学
申请人地址 ：
上海市闵行区东川路800号
代理机构 ：
上海思微知识产权代理事务所(普通合伙)
代理人 ：
田婷
优先权 ：
CN202111512455.8
主分类号 ：
G06K9/62
IPC分类号 ：
G06K9/62 G06V40/16 G06F16/61 G06F16/71 G06N3/04 G06N3/08 G10L17/00 G10L17/02
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06K
数据识别；数据表示；记录载体；记录载体的处理
G06K9/00
用于阅读或识别印刷或书写字符或者用于识别图形，例如，指纹的方法或装置
G06K9/62
应用电子设备进行识别的方法或装置
法律状态
2022-04-08 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
