文本去重方法、装置和电子设备
实质审查的生效
摘要

本公开实施例公开了文本去重方法、装置和电子设备。该方法的一具体实施方式包括:获取待去重网页集合;针对待去重网页集合中的每个待去重网页,从该待去重网页的网页数据中提取网页特征,利用该待去重网页的网页标题和网页正文,基于向量空间哈希算法和最小公共子串匹配算法,确定候选网页集合中是否存在与该待去重网页相似的网页,若存在,则对该待去重网页的相似标志位进行设置;利用相似标志位,对待去重网页集合中的待去重网页进行分组;基于网页特征,从每组待去重网页中选取目标网页,删除目标网页之外的其他网页,得到去重后的网页集合。该实施方式在提高网页文本去重效果的同时,提升了去重效率,节省内存。

基本信息
专利标题 :
文本去重方法、装置和电子设备
专利标题(英):
暂无
公开(公告)号 :
CN114417102A
申请号 :
CN202111618080.3
公开(公告)日 :
2022-04-29
申请日 :
2021-12-27
授权号 :
暂无
授权日 :
暂无
发明人 :
张洵刘青松刘博伟彭辉
申请人 :
北京清格科技有限公司
申请人地址 :
北京市西城区西什库大街31号院5号楼401
代理机构 :
泰和泰律师事务所
代理人 :
祝海燕
优先权 :
CN202111618080.3
主分类号 :
G06F16/951
IPC分类号 :
G06F16/951  G06F40/194  G06F40/216  G06F40/289  G06F16/903  
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06F
电数字数据处理
G06F16/951
•••索引; 网络抓取技术
法律状态
2022-05-20 :
实质审查的生效
IPC(主分类) : G06F 16/951
申请日 : 20211227
2022-04-29 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
  • 联系电话
    电话:023-6033-8768
    QQ:1493236332
  • 联系 Q Q
    电话:023-6033-8768
    QQ:1493236332
  • 关注微信
    电话:023-6033-8768
    QQ:1493236332
  • 收藏
    电话:023-6033-8768
    QQ:1493236332