一种用于Hive-SQL执行效率的提升方法及系统
实质审查的生效
摘要
本发明公开了一种用于Hive‑SQL执行效率的提升方法及系统，属于计算存储领域；所述的方法具体步骤如下：S1基于当下计算任务的跑数表现选择最优的YARN调度器；S2基于队列利用率对计算任务关键环节任务进行并行拆分；S3优化计算引擎、mapper以及reducer数量配置，优化代码计算逻辑；S4对存在数据倾斜问题的进行倾斜治理；本发明是一种用于Hive‑SQL执行效率的提升方法，包括：基于当下Hive‑SQL计算脚本的跑数表现，通过更改配置，选择最优的YARN调度器；基于队列利用率，对占用资源最多的Hive‑SQL脚本进行并行拆分，最优化队列利用率；对拆分完成的Hive‑SQL进行代码改进，进一步提高执行效率；在代码优化完成后若存在数据倾斜问题，则针对数据倾斜展开治理。
基本信息
专利标题 ：
一种用于Hive-SQL执行效率的提升方法及系统
专利标题（英）：
暂无
公开（公告）号 ：
CN114490736A
申请号 ：
CN202111611070.7
公开（公告）日 ：
2022-05-13
申请日 ：
2021-12-27
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
吴锦坤张金波张睿智周庆勇
申请人 ：
浪潮云信息技术股份公司
申请人地址 ：
山东省济南市高新区浪潮路1036号浪潮科技园S01号楼
代理机构 ：
济南信达专利事务所有限公司
代理人 ：
姜鹏
优先权 ：
CN202111611070.7
主分类号 ：
G06F16/2453
IPC分类号 ：
G06F16/2453 G06F16/242 G06F16/22 G06F16/21
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F16/2453
••••查询优化
法律状态
2022-05-31 ：
实质审查的生效
IPC(主分类) : G06F 16/2453
申请日 : 20211227
申请日 : 20211227
2022-05-13 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
