一种大规模长文本数据的近似重复检测方法、系统及终端
实质审查的生效
摘要
本发明公开了一种大规模长文本数据的近似重复检测方法、系统及终端，通过将传统数据库中的倒排索引结构引入到分布式计算框架中，实现了文档相似检测的分布式分区，并且通过倒排表分区方式实现Simhash技术的分布式计算，为其带来可扩展性，最后通过在计算过程中嵌入传统数据库领域的前缀剪枝技术，来进一步减少分布式重复检测过程中倒排分区的通讯读写代价和simhash计算的验证代价。
基本信息
专利标题 ：
一种大规模长文本数据的近似重复检测方法、系统及终端
专利标题（英）：
暂无
公开（公告）号 ：
CN114386384A
申请号 ：
CN202111482009.7
公开（公告）日 ：
2022-04-22
申请日 ：
2021-12-06
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
邓凌风王进邹安平刘泽雄闫超余跃曾炜
申请人 ：
鹏城实验室
申请人地址 ：
广东省深圳市南山区兴科一街2号
代理机构 ：
深圳市君胜知识产权代理事务所(普通合伙)
代理人 ：
陈专
优先权 ：
CN202111482009.7
主分类号 ：
G06F40/194
IPC分类号 ：
G06F40/194 G06F16/2458
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F40/194
计算文件之间的差异
法律状态
2022-05-10 ：
实质审查的生效
IPC(主分类) : G06F 40/194
申请日 : 20211206
申请日 : 20211206
2022-04-22 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
