跨模态图文匹配训练方法及装置、存储介质、电子设备
实质审查的生效
摘要
本申请公开了一种跨模态图文匹配训练方法及装置、存储介质、电子设备,该方法包括将待训练图像输入至图像编码器,由图像编码器对待训练图像进行编码,得到待训练图像的图像向量特征;将待训练图像的图像内容的描述作为文本输入文本编码器,文本编码器对文本进行分词,将文本转换成token向量,将token向量进行基于transformer的文本编码处理,得到编码为与图像向量特征的维度相同的文本向量特征;训练达到所选取的样本数后,图像编码器和文本编码器分别对图像向量特征和文本向量特征进行模态交互,利用反向梯度更新图像编码器和文本编码器模型参数。本申请支持更精确和个性化方式进行图文匹配联合检索。
基本信息
专利标题 :
跨模态图文匹配训练方法及装置、存储介质、电子设备
专利标题(英):
暂无
公开(公告)号 :
CN114283430A
申请号 :
CN202111464736.0
公开(公告)日 :
2022-04-05
申请日 :
2021-12-03
授权号 :
暂无
授权日 :
暂无
发明人 :
王波张百灵周炬马成龙
申请人 :
苏州大创科技有限公司
申请人地址 :
江苏省苏州市苏州工业园区星湖街328号创意产业园6-702单元
代理机构 :
北京尚伦律师事务所
代理人 :
陈红亮
优先权 :
CN202111464736.0
主分类号 :
G06V30/40
IPC分类号 :
G06V30/40 G06V30/19 G06K9/62 G06F40/126 G06F40/279 G06N3/04 G06N3/08
法律状态
2022-04-22 :
实质审查的生效
IPC(主分类) : G06V 30/40
申请日 : 20211203
申请日 : 20211203
2022-04-05 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载