基于对比学习和多头自注意力机制的多模态情感分析方法
实质审查的生效
摘要
本发明提出了一种基于对比学习和多头自注意力机制的多模态情感分析方法，本发明采用预训练模型，对文本和图片进行序列特征提取，之后针对图像采用基于多头自注意力机制的Transformer‑Encoder结构进行二次序列特征提取，然后将文本序列特征和图像序列特征拼接后使用Transformer‑Encoder进行特征提取，得益于自注意力机制，可以帮助文本和图像特征更好的对齐和融合；最后采用多任务学习，辅助模型更好的进行情感分类任务；同时加入两种辅助对比学习任务，帮助模型更好的提取学习文本和图像融合后的特征，帮助模型提升数据情感的区分能力。
基本信息
专利标题 ：
基于对比学习和多头自注意力机制的多模态情感分析方法
专利标题（英）：
暂无
公开（公告）号 ：
CN114529758A
申请号 ：
CN202210084807.2
公开（公告）日 ：
2022-05-24
申请日 ：
2022-01-25
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
徐冰曹海龙朱聪慧杨沐昀赵铁军李振
申请人 ：
哈尔滨工业大学
申请人地址 ：
黑龙江省哈尔滨市南岗区西大直街92号
代理机构 ：
哈尔滨市阳光惠远知识产权代理有限公司
代理人 ：
孙莉莉
优先权 ：
CN202210084807.2
主分类号 ：
G06V10/764
IPC分类号 ：
G06V10/764 G06V10/80 G06V10/82 G06K9/62 G06F40/284 G06N3/04 G06N3/08
法律状态
2022-06-10 ：
实质审查的生效
IPC(主分类) : G06V 10/764
申请日 : 20220125
申请日 : 20220125
2022-05-24 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
