Hive海量数据导入Hbase的数据加载系统及数据加载方...
实质审查的生效
摘要

本发明公开了一种Hive海量数据导入Hbase的数据加载系统及数据加载方法,所述数据加载方法包括如下步骤:步骤1,通过配制在大数据离线调度系统上的Spark‑HFile生成模块读取Hive表中的待加载数据,然后采用Apache Spark分布式计算引擎将Hive表中待加载数据根据Hive表字段与Hbase表的映射配置,生成Hbase表所需的底层HFile文件,并写入指定的HDFS目录;步骤2,通过配制在大数据离线调度系统上的HFile在线数据加载模块将步骤1中HDFS目录中的HFile文件在线加载到Hbase表中,提供面向用户的业务查询服务。

基本信息
专利标题 :
Hive海量数据导入Hbase的数据加载系统及数据加载方法
专利标题(英):
暂无
公开(公告)号 :
CN114416853A
申请号 :
CN202210114662.6
公开(公告)日 :
2022-04-29
申请日 :
2022-01-30
授权号 :
暂无
授权日 :
暂无
发明人 :
黄立蓝文良
申请人 :
重庆长安汽车股份有限公司
申请人地址 :
重庆市江北区建新东路260号
代理机构 :
重庆博凯知识产权代理有限公司
代理人 :
李晓兵
优先权 :
CN202210114662.6
主分类号 :
G06F16/25
IPC分类号 :
G06F16/25  G06F16/182  
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06F
电数字数据处理
G06F16/25
••涉及数据库管理系统的集合或接口系统
法律状态
2022-05-20 :
实质审查的生效
IPC(主分类) : G06F 16/25
申请日 : 20220130
2022-04-29 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
  • 联系电话
    电话:023-6033-8768
    QQ:1493236332
  • 联系 Q Q
    电话:023-6033-8768
    QQ:1493236332
  • 关注微信
    电话:023-6033-8768
    QQ:1493236332
  • 收藏
    电话:023-6033-8768
    QQ:1493236332