一种高效率的历史数据追溯爬取方法及终端

授权

摘要

本发明提供了高效率的历史数据追溯爬取及终端，其方法包括以下步骤：S1：设定历史数据追溯方向，以及每一次爬取历史数据量对应的第一阈值；S2：根据历史数据追溯方向以及第一阈值，获取待多次爬取的历史数据分别对应的多个第一URL；将多个第一URL进行排序，得到第一序列；S3：每隔预设时间依次爬取第一序列中的每一个第一URL对应网页上的数据。本发明提供了一种高效率的历史数据追溯爬取方法及终端，在追溯爬取历史数据的过程中无需人工参与，能够提高历史数据爬取的效率。

基本信息

专利标题：

一种高效率的历史数据追溯爬取方法及终端

专利标题（英）：

暂无

公开（公告）号：

CN112905867A

申请号：

CN202110147715.X

公开（公告）日：

2021-06-04

申请日：

2019-03-14

授权号：

CN112905867B

授权日：

2022-06-07

发明人：

刘德建林琛

申请人：

福建省天奕网络科技有限公司

申请人地址：

福建省福州市长乐区湖南镇大鹤村

代理机构：

福州市博深专利事务所(普通合伙)

代理人：

唐燕玲

优先权：

CN202110147715.X

主分类号：

G06F16/951

IPC分类号：

G06F16/951 G06F16/955