具有多模态信息的检索对象的检索方法和装置
授权
摘要

本说明书实施例提供一种具有多模态信息的检索对象的检索方法和装置,方法包括:获取单模态的查询信息,单模态的查询信息为第一文本或第一图片;当查询信息为第一文本时,将第一文本输入生成模型,生成与第一文本包含的主体对应的图像特征;将第一文本对应的文本特征和图像特征输入图文转换器,对文本特征和图像特征进行基于自注意力的融合,输出查询信息的第一查询特征向量;根据第一查询特征向量与各检索特征向量之间的相似度,确定与查询信息相匹配的检索对象;各检索特征向量分别对应于数据库中的各检索对象,任一检索特征向量为将其对应的检索对象的多模态信息输入图文转换器得到的。能够提高检索精度。

基本信息
专利标题 :
具有多模态信息的检索对象的检索方法和装置
专利标题(英):
暂无
公开(公告)号 :
CN113076433A
申请号 :
CN202110454387.8
公开(公告)日 :
2021-07-06
申请日 :
2021-04-26
授权号 :
CN113076433B
授权日 :
2022-05-17
发明人 :
洪炜翔暨凯祥刘家佳王剑陈景东褚崴
申请人 :
支付宝(杭州)信息技术有限公司
申请人地址 :
浙江省杭州市西湖区西溪路556号8层B段801-11
代理机构 :
北京亿腾知识产权代理事务所(普通合伙)
代理人 :
孙欣欣
优先权 :
CN202110454387.8
主分类号 :
G06F16/38
IPC分类号 :
G06F16/38  G06F16/33  G06F16/583  G06N3/04  G06N3/08  
相关图片
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06F
电数字数据处理
G06F16/38
••使用元数据的特征检索,例如,不来自内容或者元数据派生的
法律状态
2022-05-17 :
授权
2021-07-23 :
实质审查的生效
IPC(主分类) : G06F 16/38
申请日 : 20210426
2021-07-06 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
1、
CN113076433A.PDF
PDF下载
  • 联系电话
    电话:023-6033-8768
    QQ:1493236332
  • 联系 Q Q
    电话:023-6033-8768
    QQ:1493236332
  • 关注微信
    电话:023-6033-8768
    QQ:1493236332
  • 收藏
    电话:023-6033-8768
    QQ:1493236332