适用于Hive数据仓库进行数据写入与更新的方法及系统
公开
摘要
本发明公开了适用于Hive数据仓库进行数据写入与更新的方法及系统，属于大数据存储与计算机技术领域，本发明要解决的技术问题为如何实现Hive数据仓库的数据更新及删除，保证ACID语义的同时，降低数据入库的延迟，且能够提供可视化界面，采用的技术方案为：该方法是使用索引机制及文件重写实现数据更新，通过可视化界面配置数据源、配置目的表、操作类型及更新列的信息进行数据写入或更新；同时借助Data Lakes的开源方案Hudi，每张Hive表在HDFS数据文件的基础上，维护了一条包含在不同时间所有对数据集操作的时间轴，该时间轴包含各个时间点对Hive表的操作，包括对Hive表执行的动作类型、时间戳及当前时间表所处的状态。
基本信息
专利标题 ：
适用于Hive数据仓库进行数据写入与更新的方法及系统
专利标题（英）：
暂无
公开（公告）号 ：
CN114564445A
申请号 ：
CN202210196245.0
公开（公告）日 ：
2022-05-31
申请日 ：
2022-03-01
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
魏峥胡清李国涛周永进
申请人 ：
浪潮云信息技术股份公司
申请人地址 ：
山东省济南市高新区浪潮路1036号浪潮科技园S01号楼
代理机构 ：
济南信达专利事务所有限公司
代理人 ：
孙园园
优先权 ：
CN202210196245.0
主分类号 ：
G06F16/11
IPC分类号 ：
G06F16/11 G06F16/22 G06F16/23
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F16/11
••文件系统管理，例如存档或快照的详细信息
法律状态
2022-05-31 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
