一种集群布隆过滤器数据去重方法、终端设备及存储介质
公开
摘要
本发明涉及一种集群布隆过滤器数据去重方法、终端设备及存储介质，该方法中包括：接收数据记录并写入消息队列；计算数据记录对应的排重键值；计算该消息记录对应的存储索引号i；将集群布隆过滤器中第i个过滤器槽中存储该消息记录对应的位向量，并初始化为0；通过k个散列函数分别对该消息记录对应的排重键值进行运算，根据k个运算结果将该消息记录对应的位向量中对应位置元素的值置1；对于待查找数据记录，根据其在集群布隆过滤器中对应过滤器槽中存储的位向量中对应元素的值是否为1来判断是否重复。本发明解决了实时数据去重负载过大难题。
基本信息
专利标题 ：
一种集群布隆过滤器数据去重方法、终端设备及存储介质
专利标题（英）：
暂无
公开（公告）号 ：
CN114443629A
申请号 ：
CN202111591763.4
公开（公告）日 ：
2022-05-06
申请日 ：
2021-12-23
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
邢磊张磊姚志强
申请人 ：
厦门市美亚柏科信息股份有限公司
申请人地址 ：
福建省厦门市软件园二期观日路12号102-402单元
代理机构 ：
厦门市精诚新创知识产权代理有限公司
代理人 ：
赵薇
优先权 ：
CN202111591763.4
主分类号 ：
G06F16/215
IPC分类号 ：
G06F16/215 G06F16/22
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F16/215
•••提高数据质量；数据清理，例如重复数据消除、删除无效条目或更正排版错误
法律状态
2022-05-06 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
