一种基于数据增强的视觉语义嵌入方法及系统
公开
摘要
本发明公开了一种基于数据增强的视觉语义嵌入方法及系统，属于深度学习技术领域。利用第一网络模型对图像进行目标识别选取若干图像区域；利用第二网络模型提取图像区域的细粒度特征，通过微调网络映射得到图像在共同嵌入空间的细粒度表示；进行第一语义图推理并进行统一池化操作；利用第一提取模型提取文本上下文相关的词向量表示；利用第二提取模型进行微调映射至共同嵌入空间，得到文本在共同嵌入空间中的词向量表示；进行第二语义图推理并进行统一池化操作；对所述第一池化结果和第二池化结果进行语义对齐，并且在模型的训练中对数据进行增强。本发明能够很好的构建模态内语义关联和在共同嵌入子空间中生成统一表征。
基本信息
专利标题 ：
一种基于数据增强的视觉语义嵌入方法及系统
专利标题（英）：
暂无
公开（公告）号 ：
CN114298057A
申请号 ：
CN202210003468.0
公开（公告）日 ：
2022-04-08
申请日 ：
2022-01-04
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
曹建军曾志贤翁年凤袁震江春丁鲲蒋国权
申请人 ：
中国人民解放军国防科技大学
申请人地址 ：
江苏省南京市秦淮区后标营18号
代理机构 ：
江苏瑞途律师事务所
代理人 ：
计璐
优先权 ：
CN202210003468.0
主分类号 ：
G06F40/30
IPC分类号 ：
G06F40/30 G06F40/242 G06N5/04 G06N3/04 G06N3/08
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F40/30
语义分析
法律状态
2022-04-08 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
