一种多特征融合的视频描述方法、装置及存储介质
公开
摘要
本发明提供一种多特征融合的视频描述方法、装置及存储介质，导入数据集，数据集包括多个数据组，各个数据组包括视频与描述信息；分别对各个数据组中的视频进行特征提取，得到运动特征和全局特征，将运动特征和全局特征进行特征拼接，得到各个视频对应的视频特征，分别提取各个数据组中描述信息对应的对象特征，并计算贡献值，根据各个贡献值计算对应视频中所有视频帧的区域特征和；分别将各个视频对应的特征输入训练模型中进行融合训练，得到融合特征；分别将各个所述视频对应的描述信息转换为文本特征；分别将各个所述视频对应的文本特征和各个所述视频对应的融合特征输入到预设的transformer语言模型中，输出视频描述语句。
基本信息
专利标题 ：
一种多特征融合的视频描述方法、装置及存储介质
专利标题（英）：
暂无
公开（公告）号 ：
CN114596523A
申请号 ：
CN202210167890.X
公开（公告）日 ：
2022-06-07
申请日 ：
2022-02-23
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
蔡晓东周美欣
申请人 ：
桂林电子科技大学
申请人地址 ：
广西壮族自治区桂林市七星区金鸡路1号
代理机构 ：
北京轻创知识产权代理有限公司
代理人 ：
朱晓彤
优先权 ：
CN202210167890.X
主分类号 ：
G06V20/40
IPC分类号 ：
G06V20/40 G06K9/62 G06F16/738 G06V10/80 G06V10/774
法律状态
2022-06-07 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
