检测hive数据表的方法和装置

授权

摘要

本发明实施例提供一种检测hive数据表的方法和装置，涉及计算机技术领域，能够快速准确地对hive数据表进行数据唯一性检测。本发明实施例的检测hive数据表的方法包括：针对被测hive数据表建立配置文件，配置文件的配置信息包括表名和主键；构建用于统计hive数据表中主键出现次数的data文件，data文件为键值对型，以hive数据表的数据记录的主键作为键，并且以hive数据表的主键出现次数作为值；在监测到有新增数据记录插入hive数据表的情况下，更新data文件；在data文件存在大于1的值的情况下，发出用于提醒数据重复的第一报警消息。

基本信息

专利标题：

检测hive数据表的方法和装置

专利标题（英）：

暂无

公开（公告）号：

CN108958959A

申请号：

CN201710352699.1

公开（公告）日：

2018-12-07

申请日：

2017-05-18

授权号：

CN108958959B

授权日：

2022-04-12

发明人：

何林艳

申请人：

北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司

申请人地址：

北京市海淀区杏石口路65号西杉创意园四区11号楼东段1-4层西段1-4层

代理机构：

中原信达知识产权代理有限责任公司

代理人：

张一军

优先权：

CN201710352699.1

主分类号：

G06F11/07

IPC分类号：

G06F11/07 G06F17/30