基于改进的PageRank的网络爬虫方法及系统

授权

摘要

本发明属于互联网技术领域，特别涉及一种基于改进的PageRank的网络爬虫方法及系统，所述的方法包括：(1)爬取网页；(2)获取网页关系；(3)获取关系矩阵；(4)获取初始概率矩阵；(5)PageRank计算；获取到关系矩阵、初始概率矩阵以及阻尼系数后，计算网页PR值，循环迭代计算直至概率矩阵收敛终止迭代；通过本发明提供的方法，解决了网页爬虫中部分页面重用关键字以提高搜索排名的网页欺骗问题。本发明提供的网络爬虫系统，使用简单且具有易接受的存储、转换、计算形式，可高效快速地计算出每张网页的权重；同时包含较完善的爬虫程序，展示了爬虫在实际生活中的应用，包括图片和文件下载、百度百科检索、视频播放、网页关系可视化等功能。

基本信息

专利标题：

基于改进的PageRank的网络爬虫方法及系统

专利标题（英）：

暂无

公开（公告）号：

CN111753161A

申请号：

CN202010507362.5

公开（公告）日：

2020-10-09

申请日：

2020-06-05

授权号：

CN111753161B

授权日：

2022-04-29

发明人：

张新台豪奇程知

申请人：

合肥学院

申请人地址：

安徽省合肥市经开发区锦绣大道99号

代理机构：

合肥中博知信知识产权代理有限公司

代理人：

徐俊杰

优先权：

CN202010507362.5

主分类号：

G06F16/951

IPC分类号：

G06F16/951 G06F16/955 G06F16/9538

IPC结构图谱

G部——物理

G06

计算；推算或计数

G06F

电数字数据处理

G06F16/951

•••索引; 网络抓取技术

法律状态

2022-04-29 ：

授权

2020-10-30 ：

实质审查的生效

IPC(主分类) : G06F 16/951
申请日 : 20200605

2020-10-09 ：

公开

注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。

文件下载

暂无PDF文件可下载