一种网页信息处理方法及系统
授权
摘要
本申请公开了一种网页信息处理方法及系统，其中，该方法包括：获取第一网址和第一网址所指向的第一网页；基于第一网址的数据结构计算其网址性质参数，并基于第一网址的网址性质参数确定第一网页的权重值；从第一网页获取链接集合和网页内容数据；基于链接数据和网页内容数据计算第二网页的第一参数；基于第二网页的第一参数和第一网页的权重值计算第二网页的权重值，以使网络爬虫基于第二网页的权重值爬取第二网页。该方法能够提高网络爬虫的爬取效率，能够有效过滤掉垃圾网页、低质量网页及被篡改网页，保障了网络爬虫爬取的第二网页的质量。
基本信息
专利标题 ：
一种网页信息处理方法及系统
专利标题（英）：
暂无
公开（公告）号 ：
CN110765336A
申请号 ：
CN201911060028.3
公开（公告）日 ：
2020-02-07
申请日 ：
2019-11-01
授权号 ：
CN110765336B
授权日 ：
2022-04-01
发明人 ：
潘季明
申请人 ：
北京天融信网络安全技术有限公司;北京天融信科技有限公司;北京天融信软件有限公司
申请人地址 ：
北京市海淀区上地东路1号院3号楼四层
代理机构 ：
北京金信知识产权代理有限公司
代理人 ：
韩岳松
优先权 ：
CN201911060028.3
主分类号 ：
G06F16/951
IPC分类号 ：
G06F16/951 G06F16/9535
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F16/951
•••索引; 网络抓取技术
法律状态
2022-04-01 ：
授权
2020-03-03 ：
实质审查的生效
IPC(主分类) : G06F 16/951
申请日 : 20191101
申请日 : 20191101
2020-02-07 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
