一种解决模态缺失问题的多模态图像美学质量评价方法
实质审查的生效
摘要
本发明提供了一种解决模态缺失问题的多模态图像美学质量评价方法,步骤1,获取美学数据集,对数据集进行数据清洗和预处理,获得每张图像的图像ID、文本评论信息和标签;步骤2,使用DPC数据集预训练缺失模态重建网络,利用图像的视觉特征重建缺失的文本模态信息;步骤3,建立多模态美学预测网络,所述的多模态美学预测网络包括图像编码器、embedding模型、多模态编码器和美学评分单元;步骤4,将美学数据集中每张图像的图像ID、文本评论信息和真实标签作为训练集,对多模态美学预测网络进行训练,训练好的多模态美学预测网络作为美学评分分布预测模型,实现多模态图像美学质量评价。使图像信息和文本信息不同模态的信息在多个不同的层次上相互作用。
基本信息
专利标题 :
一种解决模态缺失问题的多模态图像美学质量评价方法
专利标题(英):
暂无
公开(公告)号 :
CN114549850A
申请号 :
CN202210080054.8
公开(公告)日 :
2022-05-27
申请日 :
2022-01-24
授权号 :
暂无
授权日 :
暂无
发明人 :
范建平宋乔张晓丹彭先霖王珺赵万青李斌彭进业
申请人 :
西北大学
申请人地址 :
陕西省西安市太白北路229号
代理机构 :
西安恒泰知识产权代理事务所
代理人 :
王孝明
优先权 :
CN202210080054.8
主分类号 :
G06V10/44
IPC分类号 :
G06V10/44 G06V10/764 G06V10/82 G06K9/62 G06N3/04 G06N3/08
法律状态
2022-06-14 :
实质审查的生效
IPC(主分类) : G06V 10/44
申请日 : 20220124
申请日 : 20220124
2022-05-27 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载