一种基于多模态联合学习的短视频分类方法及装置
授权
摘要
本发明提供一种基于多模态联合学习的短视频分类方法及装置，包括如下步骤：A、对短视频提取视觉模态特征zv、声音模态特征za和文本模态特征zt；B、分别学习潜在表示特征潜在表示特征
潜在表示特征
和潜在表示特征
C、构建重建损失函数
D、得到由标签向量组成的标签特征矩阵P；E、利用Multi‑head Attention得到短视频的最终表示；F、对最终表示做多标签分类，得到分类损失函数
H、由重建损失函数
和分类损失函数
构建目标函数
本发明充分利用短视频的模态信息和标签信息，有效解决短视频多标签分类问题，并提高了分类准确度。
基本信息
专利标题 ：
一种基于多模态联合学习的短视频分类方法及装置
专利标题（英）：
暂无
公开（公告）号 ：
CN112287170A
申请号 ：
CN202011089720.1
公开（公告）日 ：
2021-01-29
申请日 ：
2020-10-13
授权号 ：
CN112287170B
授权日 ：
2022-05-17
发明人 ：
苏育挺
申请人 ：
泉州津大智能研究院有限公司
申请人地址 ：
福建省泉州市经济技术开发区玉狮路68号2.5产业园A-03栋603单元
代理机构 ：
泉州君典专利代理事务所(普通合伙)
代理人 ：
宋艳梅
优先权 ：
CN202011089720.1
主分类号 ：
G06F16/75
IPC分类号 ：
G06F16/75 G06F16/78 G06F16/783 G06K9/62 G06N3/04 G06N3/08 G06Q10/06
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F16/75
••聚类;分类
法律状态
2022-05-17 ：
授权
2021-02-23 ：
实质审查的生效
IPC(主分类) : G06F 16/75
申请日 : 20201013
申请日 : 20201013
2021-01-29 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
