数据倾斜检测方法、装置及相关设备
公开
摘要
本申请提供一种数据倾斜检测方法、装置及相关设备,应用于大数据处理系统。该方法包括:大数据处理系统将用户的大数据计算任务拆分为多个子任务,并试运行这多个子任务,然后将多个子任务对应的多个运行时长从大到小进行排序,得到排序列表;再确定排序列表中相邻的第一运行时长与第二运行时长的差值,在差值大于阈值时,确定第一运行时长对应的第一子任务及在排序列表中排列在第一子任务之前的子任务是存在数据倾斜的子任务,其中,所述第一运行时长大于所述第二运行时长。通过上述方法,能够检测出计算任务中存在数据倾斜的子任务并进行提示,以使用户对计算任务进行优化,进而减少计算任务运行的时长。
基本信息
专利标题 :
数据倾斜检测方法、装置及相关设备
专利标题(英):
暂无
公开(公告)号 :
CN114328070A
申请号 :
CN202011060986.3
公开(公告)日 :
2022-04-12
申请日 :
2020-09-30
授权号 :
暂无
授权日 :
暂无
发明人 :
陈振强黄俊
申请人 :
华为云计算技术有限公司
申请人地址 :
贵州省贵阳市贵安新区黔中大道交兴功路华为云数据中心
代理机构 :
广州三环专利商标代理有限公司
代理人 :
熊永强
优先权 :
CN202011060986.3
主分类号 :
G06F11/30
IPC分类号 :
G06F11/30 G06F11/34
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06F
电数字数据处理
G06F11/00
错误检测;错误校正;监控
G06F11/30
监控
法律状态
2022-04-12 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载