一种多模态特征融合的文本引导图像修复方法
授权
摘要
本发明属于数字图像智能处理技术领域,具体为一种多模态特征融合的文本引导图像修复方法。本发明方法依次包括:网络以缺损图像和相应的文本描述作为输入,分为两个阶段:粗略修复阶段和精细修复阶段;在粗略修复阶段,网络将文本特征和图像特征映射到统一的特征空间进行融合,利用文本特征的先验知识,网络产生合理的粗糙修复结果;在精细修复阶段,网络为粗糙修复结果生成更多的细粒度纹理;在网络训练中引入重构损失、对抗损失和文本引导的注意力损失来辅助网络生成更加细致、自然的结果。实验结果表明,本发明可以更好地预测缺失区域中物体的语义信息,并生成细粒度纹理,有效提升图像修复的效果。
基本信息
专利标题 :
一种多模态特征融合的文本引导图像修复方法
专利标题(英):
暂无
公开(公告)号 :
CN111340122A
申请号 :
CN202010131868.0
公开(公告)日 :
2020-06-26
申请日 :
2020-02-29
授权号 :
CN111340122B
授权日 :
2022-04-12
发明人 :
颜波林青
申请人 :
复旦大学
申请人地址 :
上海市杨浦区邯郸路220号
代理机构 :
上海正旦专利代理有限公司
代理人 :
陆飞
优先权 :
CN202010131868.0
主分类号 :
G06K9/62
IPC分类号 :
G06K9/62 G06K9/46 G06F40/30 G06N3/04 G06N3/08
相关图片
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06K
数据识别;数据表示;记录载体;记录载体的处理
G06K9/00
用于阅读或识别印刷或书写字符或者用于识别图形,例如,指纹的方法或装置
G06K9/62
应用电子设备进行识别的方法或装置
法律状态
2022-04-12 :
授权
2020-07-21 :
实质审查的生效
IPC(主分类) : G06K 9/62
申请日 : 20200229
申请日 : 20200229
2020-06-26 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
1、
CN111340122A.PDF
PDF下载