多媒体内容描述生成方法、训练方法、装置、设备及介质
授权
摘要
本申请公开了多媒体内容的描述生成方法、训练方法、装置、设备及介质，属于人工智能领域。该方法包括：调用描述生成模型对多媒体内容进行多模态特征提取，得到至少两种模态特征的帧特征序列，帧特征序列包括在至少两个多媒体帧中对应的模态特征；调用描述生成模型对至少两种模态特征的帧特征序列中属于同一帧的模态特征进行融合，得到高级帧特征序列；高级帧特征序列包括在至少两个多媒体帧中对应的融合后的模态特征；调用描述生成模型对高级帧特征序列进行解码，得到多媒体内容的自然语言描述。可以解决只将模态特征进行直接级联来进行简单融合，忽略了不同模态特征之间的关联性，导致最终生成的自然语言描述忽略了部分语义信息。
基本信息
专利标题 ：
多媒体内容描述生成方法、训练方法、装置、设备及介质
专利标题（英）：
暂无
公开（公告）号 ：
CN110234018A
申请号 ：
CN201910616904.X
公开（公告）日 ：
2019-09-13
申请日 ：
2019-07-09
授权号 ：
CN110234018B
授权日 ：
2022-05-31
发明人 ：
王柏瑞马林刘威
申请人 ：
腾讯科技（深圳）有限公司
申请人地址 ：
广东省深圳市南山区高新区科技中一路腾讯大厦35层
代理机构 ：
北京三高永信知识产权代理有限责任公司
代理人 ：
邢少真
优先权 ：
CN201910616904.X
主分类号 ：
H04N21/234
IPC分类号 ：
H04N21/234 H04N21/44 G06N3/04
法律状态
2022-05-31 ：
授权
2021-11-02 ：
实质审查的生效
IPC(主分类) : H04N 21/234
申请日 : 20190709
申请日 : 20190709
2019-09-13 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
