一种基于GRU神经网络的新闻网站通用爬虫设计方法
授权
摘要
本发明公开了一种基于GRU神经网络的新闻网站通用爬虫设计方法，对HTML页面内容进行HTML数据预处理，构建目标数据并标记字符，构建字符字典，HTML内容转换为数字向量，最后填充batch；搭建GRU神经网络，使用Cross Entropy作为损失函数，Embedding层使用预训练的字符向量，对GRU神经网络进行训练和预测；基于Scrapy爬虫框架，构建全站爬取爬虫。本发明在爬虫爬取任意新闻页面的HTML内容后，将其传入使用本发明设计的神经网络算法训练好的模型中，能自动提取新闻正文，节省定制的时间与人力。
基本信息
专利标题 ：
一种基于GRU神经网络的新闻网站通用爬虫设计方法
专利标题（英）：
暂无
公开（公告）号 ：
CN110532452A
申请号 ：
CN201910630664.9
公开（公告）日 ：
2019-12-03
申请日 ：
2019-07-12
授权号 ：
CN110532452B
授权日 ：
2022-04-22
发明人 ：
范建存廖励坤
申请人 ：
西安交通大学
申请人地址 ：
陕西省西安市咸宁西路28号
代理机构 ：
西安通大专利代理有限责任公司
代理人 ：
高博
优先权 ：
CN201910630664.9
主分类号 ：
G06F16/951
IPC分类号 ：
G06F16/951 G06F16/958 G06F16/36 G06N3/04
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F16/951
•••索引; 网络抓取技术
法律状态
2022-04-22 ：
授权
2019-12-27 ：
实质审查的生效
IPC(主分类) : G06F 16/951
申请日 : 20190712
申请日 : 20190712
2019-12-03 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
