Hudi运行环境资源优化分配方法及装置

授权

摘要

本申请提供了一种Hudi运行环境资源优化分配方法及装置，包括：启动预设数量的计算引擎会话Spark Session，并对各Spark Session按对应的资源大小进行分类，得到至少两个Spark Session集合，并确定每个Spark Session集合对应的任务数据量范围；若医院的业务系统有增量医疗数据产生，则获取增量医疗数据对应的Hudi表任务所对应的数据量大小，并将Hudi表任务加入任务执行队列；在Hudi表任务处于任务执行队列的头部时，基于Hudi表任务的数据量大小和各Spark Session集合对应的任务数据量范围，确定出目标Spark Session，并利用目标Spark Session执行Hudi表任务，以将增量医疗数据添加至对应的Hudi表中。该方案节约了资源等待时间，同时能够为不同数据量大小的Hudi表任务匹配合适的目标Spark Session，提高了医疗数据存储的实时性。

基本信息

专利标题：

Hudi运行环境资源优化分配方法及装置

专利标题（英）：

暂无

公开（公告）号：

CN114153620A

申请号：

CN202210117140.1

公开（公告）日：

2022-03-08

申请日：

2022-02-08

授权号：

CN114153620B

授权日：

2022-05-24

发明人：

秦晓宏黄主斌

申请人：

上海柯林布瑞信息技术有限公司

申请人地址：

上海市徐汇区宜山路700号B2栋1504室

代理机构：

北京超凡宏宇专利代理事务所(特殊普通合伙)

代理人：

何明伦

优先权：

CN202210117140.1

主分类号：

G06F9/50

IPC分类号：

G06F9/50 G06F16/182