一种网络文本数据爬虫方法与系统
实质审查的生效
摘要

本发明公开了一种网络文本数据爬虫方法与系统。该方法包括:将目标关键词输入爬虫系统的关键词检索栏,爬虫系统自动调用搜索引擎得到搜索结果页面;对搜索结果页面中的条目网址进行解析,根据解析结果将属于设定网址类型的条目网址删除,得到目标对象列表;根据目标关键词与目标对象列表中描述文本的关联度,对目标对象列表中删除后的条目网址进行过滤;采用网页解析库解析过滤后的条目网址对应的网页,得到每个网页的文本内容列表,并根据文本概率分布和文本长度对文本内容列表中的文本内容进行过滤;根据目标关键词对过滤后的文本内容列表中文本内容的段落和句子进行筛选,得到目标关键词的网络文本数据。本发明能提高爬取精度和爬取效率。

基本信息
专利标题 :
一种网络文本数据爬虫方法与系统
专利标题(英):
暂无
公开(公告)号 :
CN114443928A
申请号 :
CN202210088213.9
公开(公告)日 :
2022-05-06
申请日 :
2022-01-25
授权号 :
暂无
授权日 :
暂无
发明人 :
赵尔平王禹皓张雅坤王通辉
申请人 :
西藏民族大学
申请人地址 :
陕西省咸阳市文汇东路6号
代理机构 :
北京高沃律师事务所
代理人 :
刘芳
优先权 :
CN202210088213.9
主分类号 :
G06F16/951
IPC分类号 :
G06F16/951  G06F16/9532  G06F16/332  
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06F
电数字数据处理
G06F16/951
•••索引; 网络抓取技术
法律状态
2022-05-24 :
实质审查的生效
IPC(主分类) : G06F 16/951
申请日 : 20220125
2022-05-06 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
  • 联系电话
    电话:023-6033-8768
    QQ:1493236332
  • 联系 Q Q
    电话:023-6033-8768
    QQ:1493236332
  • 关注微信
    电话:023-6033-8768
    QQ:1493236332
  • 收藏
    电话:023-6033-8768
    QQ:1493236332