一种基于图文融合的生成式摘要生成方法

授权

摘要

本发明公开了一种基于图文融合的生成式摘要生成方法，其步骤包括：1)将给定的文本数据集划分为训练集、验证集和测试集；其中，文本数据集中的每一样本是一三元组(X,I,Y)，X是文本，I是文本X对应的图像，Y是文本X的摘要；2)对文本数据集的图像进行实体特征提取，并将提取的实体特征表示成与文本同维度的图像特征向量；3)使用训练集和训练集对应的图像特征向量对生成式摘要模型进行训练；4)输入一条文本和对应图像并生成该图像的图像特征向量，然后将该文本及其对应的图像特征向量输入到训练后的生成式摘要模型，得到该文本对应的摘要。本发明生成的摘要可以有效地调整文本中实体的权重，在一定程度缓解未登录词的问题。

基本信息

专利标题：

一种基于图文融合的生成式摘要生成方法

专利标题（英）：

暂无

公开（公告）号：

CN110704606A

申请号：

CN201910764261.3

公开（公告）日：

2020-01-17

申请日：

2019-08-19

授权号：

CN110704606B

授权日：

2022-05-31

发明人：

曹亚男徐灏尚燕敏刘燕兵谭建龙郭莉

申请人：

中国科学院信息工程研究所

申请人地址：

北京市海淀区闵庄路甲89号

代理机构：

北京君尚知识产权代理有限公司

代理人：

司立彬

优先权：

CN201910764261.3

主分类号：

G06F16/34

IPC分类号：

G06F16/34 G06F16/35 G06F16/36 G06T11/60