一种基于多模态对比学习的深度特权语义分割方法
实质审查的生效
摘要
本发明公开了一种基于多模态对比学习的深度特权语义分割方法。采集RGB图像和深度图像并与类别共同构成训练集，建立均包含语义分割基础网络和投影模块的RGB分支和深度分支；用逐像素交叉熵损失监督训练两个语义分割基础网络；用跨模态对比损失优化由投影模块得到的嵌入特征，通过反向传播算法使得语义分割基础网络中的特征编码器能够挖掘RGB特征和深度特征的共性，一定程度上改善RGB图像中由于色彩纹理相近而难于分割的情况，从而提升语义分割的精度。本发明在推理阶段只需要场景的RGB图像而无需深度信息，由于在训练阶段引入了深度信息，有较好的分割能力和泛化性能。
基本信息
专利标题 ：
一种基于多模态对比学习的深度特权语义分割方法
专利标题（英）：
暂无
公开（公告）号 ：
CN114332099A
申请号 ：
CN202111626188.7
公开（公告）日 ：
2022-04-12
申请日 ：
2021-12-28
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
柯丹宁龚小谨
申请人 ：
浙江大学
申请人地址 ：
浙江省杭州市西湖区余杭塘路866号
代理机构 ：
杭州求是专利事务所有限公司
代理人 ：
林超
优先权 ：
CN202111626188.7
主分类号 ：
G06T7/10
IPC分类号 ：
G06T7/10
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06T
一般的图像数据处理或产生
G06T7/10
分割；边缘检测
法律状态
2022-04-29 ：
实质审查的生效
IPC(主分类) : G06T 7/10
申请日 : 20211228
申请日 : 20211228
2022-04-12 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
