一种基于多模态信息融合的多目标检测方法及装置
实质审查的生效
摘要
本发明公开了一种基于多模态信息融合的多目标检测方法及装置,方法包括:将三维与二维的特征图通过共享参数的卷积神经网络进行前向传递,根据交叉熵对卷积神经网络进行训练,实现三维与二维特征融合;将融合后的三维特征图输入到三维区域生成网络中,该网络通过两个分支分别对三维特征图进行映射,分别输出三维目标检测框位置图与概率分数图;将融合后的二维特征图输入到二维区域生成网络中,输出二维目标检测框位置图与概率分数图,此时分别得到点云数据与RGB二维图像中目标的位置及检测的概率分数图;采取后融合的策略,将两种模态下的目标检测框进行融合得到最终的目标检测结果。装置包括:处理器和存储器。克服了传统单模态方法中信息单一、鲁棒性差的局限性。
基本信息
专利标题 :
一种基于多模态信息融合的多目标检测方法及装置
专利标题(英):
暂无
公开(公告)号 :
CN114463736A
申请号 :
CN202210049863.2
公开(公告)日 :
2022-05-10
申请日 :
2022-01-17
授权号 :
暂无
授权日 :
暂无
发明人 :
聂为之高思洁马瑞鑫刘通
申请人 :
天津大学
申请人地址 :
天津市南开区卫津路92号
代理机构 :
天津市北洋有限责任专利代理事务所
代理人 :
李林娟
优先权 :
CN202210049863.2
主分类号 :
G06V20/64
IPC分类号 :
G06V20/64 G06V20/00 G06V10/22 G06V10/40 G06V10/56 G06V10/764 G06V10/80 G06V10/82 G06K9/62 G06N3/04 G06N3/08
法律状态
2022-05-27 :
实质审查的生效
IPC(主分类) : G06V 20/64
申请日 : 20220117
申请日 : 20220117
2022-05-10 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载