确定URL爬虫优先级的方法、爬虫方法、介质及爬虫系统
公开
摘要
本申请公开了一种确定URL爬虫优先级的方法、爬虫方法、介质及爬虫系统，属于通信计算机技术领域。该确定URL爬虫优先级方法包括：根据URL队列中的种子URL对应网页的重要程度，确定种子URL的爬虫优先级；根据种子URL的爬虫优先级，确定相应种子URL对应网页的爬虫优先顺序和、或爬虫频率；以及依据爬虫优先顺序和、或爬虫频率，对相应的网页进行爬虫。本申请的应用确定种子URL的爬虫优先级，提高网络爬虫的效率。
基本信息
专利标题 ：
确定URL爬虫优先级的方法、爬虫方法、介质及爬虫系统
专利标题（英）：
暂无
公开（公告）号 ：
CN114625947A
申请号 ：
CN202011463085.9
公开（公告）日 ：
2022-06-14
申请日 ：
2020-12-11
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
王伟王亮
申请人 ：
北京四维图新科技股份有限公司
申请人地址 ：
北京市海淀区丰豪东路四维图新大厦A座10层
代理机构 ：
北京国科程知识产权代理事务所(普通合伙)
代理人 ：
曹晓斐
优先权 ：
CN202011463085.9
主分类号 ：
G06F16/951
IPC分类号 ：
G06F16/951 G06F16/955 G06F9/48 G06F9/54
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F16/951
•••索引; 网络抓取技术
法律状态
2022-06-14 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
