一种私有云数据传输方法及数据管理平台
公开
摘要

本发明公开了一种私有云数据传输方法及数据管理平台,涉及大数据处理技术领域,所述方法主要包括:利用flume组件、sqoop组件和datax组件采集异构数据,并通过canal组件将所述异构数据统一传输到kafka组件中,同时将所述异构数据分别存储在hive组件和hbase组件中;利用MapReduce组件和Spark组件对存储在hive组件中的数据进行离线计算;利用phoenix组件为存储在hbase组件中的数据添加二级索引,并利用Spark组件和flink组件对数据进行实时计算;利用DBapi组件为所述hive组件和所述hbase组件提供一致的访问接口,以实现数据的输出。本方案中将离线数据统一存储在hive组件中,实时数据通过flink组件或Spark组件编写ETL后实时传输到hbase组件,且hbase组件使用phoenix组件作为客户端连接DBapi组件,实现了多源数据统一输出存储。

基本信息
专利标题 :
一种私有云数据传输方法及数据管理平台
专利标题(英):
暂无
公开(公告)号 :
CN114297281A
申请号 :
CN202111613553.0
公开(公告)日 :
2022-04-08
申请日 :
2021-12-27
授权号 :
暂无
授权日 :
暂无
发明人 :
刘波陈帅斌蒋泽飞王晨程
申请人 :
杭州登虹科技有限公司
申请人地址 :
浙江省杭州市西湖区天堂软件园A幢18楼
代理机构 :
杭州裕阳联合专利代理有限公司
代理人 :
张解翠
优先权 :
CN202111613553.0
主分类号 :
G06F16/25
IPC分类号 :
G06F16/25  G06F16/27  G06F16/28  G06F16/22  G06F16/2458  
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06F
电数字数据处理
G06F16/25
••涉及数据库管理系统的集合或接口系统
法律状态
2022-04-08 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
  • 联系电话
    电话:023-6033-8768
    QQ:1493236332
  • 联系 Q Q
    电话:023-6033-8768
    QQ:1493236332
  • 关注微信
    电话:023-6033-8768
    QQ:1493236332
  • 收藏
    电话:023-6033-8768
    QQ:1493236332