一种Hbase增量数据迁移系统、方法及存储介质

实质审查的生效

摘要

本发明公开了一种Hbase增量数据迁移系统、方法及存储介质，本发明利用了Hbase的Export工具完成源集群增量数据扫描，采用HDFS DispCp完成增量数据的跨集群传输，最后使用分布式计算引擎Spark将增量数据通过ETL过程转为为Hbase表底层的HFile文件加载到目标集群在线的Hbase表中。在增量数据写入目标Hbase集群的过程中规避了Hbase本身提供的put方法在大写入场景下的Hbase RegionServer节点大GC引发的宕机和性能降低问题，采用Spark‑Bulkload方案在保证Hbase集群稳定的情况下加速增量数据接入。

基本信息

专利标题：

一种Hbase增量数据迁移系统、方法及存储介质

专利标题（英）：

暂无

公开（公告）号：

CN114546989A

申请号：

CN202210162797.X

公开（公告）日：

2022-05-27

申请日：

2022-02-22

授权号：

暂无

授权日：

暂无

发明人：

段朋

申请人：

重庆长安汽车股份有限公司

申请人地址：

重庆市江北区建新东路260号

代理机构：

重庆博凯知识产权代理有限公司

代理人：

孙根

优先权：

CN202210162797.X

主分类号：

G06F16/21

IPC分类号：

G06F16/21 G06F16/22 G06F16/23 G06F16/25 G06F16/182

IPC结构图谱

G部——物理

G06

计算；推算或计数

G06F

电数字数据处理

G06F16/21

••数据库设计、管理或维护

法律状态

2022-06-14 ：

实质审查的生效

IPC(主分类) : G06F 16/21
申请日 : 20220222

2022-05-27 ：

公开

注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。

文件下载

暂无PDF文件可下载