一种跨模态多视角目标检索方法及装置

授权

摘要

本发明公开了一种跨模态多视角目标检索方法及装置，方法包括：基于三维模型的多视角序列，利用CNN提取2D图像特征和三维模型的多视角序列特征；利用最大池化将三维模型的多视角序列特征融合成一个三维全局特征；通过鉴别器对2D图像特征和三维全局特征进行全局的特征分布对齐；将所有类别划分成小部分簇，并将不同模态相同簇的中心特征对齐，挖掘簇级别的语义信息；不断增加簇的个数进行迭代训练，逐渐细化簇级别的语义信息；当簇的个数和类别总数相同时，将每个簇中心特征切割成M块进行局部的特征分布对齐，挖掘显著性特征外的信息。装置包括：处理器和存储器。本发明提高了跨模态三维多视角目标检索的准确性。

基本信息

专利标题：

一种跨模态多视角目标检索方法及装置

专利标题（英）：

暂无

公开（公告）号：

CN113515657A

申请号：

CN202110761048.4

公开（公告）日：

2021-10-19

申请日：

2021-07-06

授权号：

CN113515657B

授权日：

2022-06-14

发明人：

刘安安张晨宇李文辉宋丹张勇东

申请人：

天津大学

申请人地址：

天津市南开区卫津路92号

代理机构：

天津市北洋有限责任专利代理事务所

代理人：

李林娟

优先权：

CN202110761048.4

主分类号：

G06F16/58

IPC分类号：

G06F16/58 G06K9/62 G06N3/04 G06N3/08