参考多模态信息的文本摘要生成方法、电子设备及介质
实质审查的生效
摘要
本发明涉及一种参考多模态信息的文本摘要生成方法、电子设备及介质,包括编码步骤和解码步骤;编码步骤包括:通过特征映射获取多模态信息的序列化特征,多模态信息包括文本信息、音频信息和图像信息;通过注意力机制对多模态信息的序列化特征进行增强,获得多模态信息的增强特征;对多模态信息的增强特征进行分类,获得若干类增强特征集合;将若干类增强特征集合一一对应输入若干个前馈神经网络中,对应获得若干组融合特征;将若干组融合特征拼接成特征融合向量;解码步骤包括:通过跨注意力机制,以特征融合向量作为隐状态输入,对文本信息的增强特征与特征融合向量进行特征融合,生成文本摘要。与现有技术相比,本发明具有效率高、准确性高等优点。
基本信息
专利标题 :
参考多模态信息的文本摘要生成方法、电子设备及介质
专利标题(英):
暂无
公开(公告)号 :
CN114491006A
申请号 :
CN202210104367.2
公开(公告)日 :
2022-05-13
申请日 :
2022-01-28
授权号 :
暂无
授权日 :
暂无
发明人 :
张梓键付卫婷
申请人 :
浙江同善人工智能技术有限公司
申请人地址 :
浙江省嘉兴市嘉善县大云镇创业路555号E1幢
代理机构 :
上海科盛知识产权代理有限公司
代理人 :
翁惠瑜
优先权 :
CN202210104367.2
主分类号 :
G06F16/34
IPC分类号 :
G06F16/34 G06F16/35 G06K9/62 G06N3/04 G06N3/08 G06V30/40 G06V10/80 G06V10/82
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06F
电数字数据处理
G06F16/34
••浏览;其可视化
法律状态
2022-05-31 :
实质审查的生效
IPC(主分类) : G06F 16/34
申请日 : 20220128
申请日 : 20220128
2022-05-13 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载