应对网页woff字体反爬虫的爬虫方法和装置
公开
摘要
本发明提供一种应对网页woff字体反爬虫的爬虫方法和装置。所述方法包括：获取网页的网络地址，并获取网站主体的参数信息；获取所述网络地址中的层叠样式表css链接，并从中获取评论类型的woff字体文件，基于获取的woff字体文件获取文字与对应编码的对应关系；请求评论网络地址，添加主体参数信息，并返回json格式的结果；提取所述json格式的结果中评论映射信息并转换为真实文字内容；保存抓取的真实文字内容。本发明能够在爬取数据时对网站的woff字体反爬措施进行有效应对，对采用了woff字体反爬技术的网站实现数据的准确、完整的抓取。
基本信息
专利标题 ：
应对网页woff字体反爬虫的爬虫方法和装置
专利标题（英）：
暂无
公开（公告）号 ：
CN114385881A
申请号 ：
CN202011135071.4
公开（公告）日 ：
2022-04-22
申请日 ：
2020-10-22
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
王思昊李晴洋艾成戴永恒刘学谦
申请人 ：
电科云（北京）科技有限公司
申请人地址 ：
北京市石景山区石景山路54号院6号楼5层501-3
代理机构 ：
北京金咨知识产权代理有限公司
代理人 ：
宋教花
优先权 ：
CN202011135071.4
主分类号 ：
G06F16/951
IPC分类号 ：
G06F16/951 G06F16/957
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F16/951
•••索引; 网络抓取技术
法律状态
2022-04-22 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
