基于Spark调度任务的慢任务分析方法和装置
实质审查的生效
摘要

本发明涉及一种基于Spark调度任务的慢任务分析方法、装置及计算机可读介质。方法包括:将任务阶段划分为多个区段,将每个所述区段划分为多个子过程,预定义每个所述子过程对应的慢查询原因;Spark程序运行多个任务,每个所述任务包括多个所述任务阶段;获取每个所述子过程的执行时长,根据所述子过程的执行时长判断所述子过程是否为异常子过程;以及统计所述多个异常子过程的慢查询原因,将出现次数最多的慢查询原因定义为共性慢查询原因。本发明通过预定义子过程对应的慢查询原因,使程序可以自动分析批量任务的慢查询原因;通过对慢查询原因的次数做排序,可以快速定位到批量任务的慢查询原因。

基本信息
专利标题 :
基于Spark调度任务的慢任务分析方法和装置
专利标题(英):
暂无
公开(公告)号 :
CN114265747A
申请号 :
CN202111583646.3
公开(公告)日 :
2022-04-01
申请日 :
2021-12-22
授权号 :
暂无
授权日 :
暂无
发明人 :
戴橙陈诚王仕凯
申请人 :
浙江太美医疗科技股份有限公司
申请人地址 :
浙江省嘉兴市经济技术开发区昌盛南路36号智慧产业创新园9号楼3层
代理机构 :
上海专利商标事务所有限公司
代理人 :
杜娟
优先权 :
CN202111583646.3
主分类号 :
G06F11/30
IPC分类号 :
G06F11/30  
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06F
电数字数据处理
G06F11/00
错误检测;错误校正;监控
G06F11/30
监控
法律状态
2022-04-19 :
实质审查的生效
IPC(主分类) : G06F 11/30
申请日 : 20211222
2022-04-01 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
  • 联系电话
    电话:023-6033-8768
    QQ:1493236332
  • 联系 Q Q
    电话:023-6033-8768
    QQ:1493236332
  • 关注微信
    电话:023-6033-8768
    QQ:1493236332
  • 收藏
    电话:023-6033-8768
    QQ:1493236332