分布式流数据处理系统虚拟化资源弹性调度管理研究
公开
摘要

本发明公布了一种双层资源调度模型、任务层动态资源调度与减载协同工作模型,以及自调节的分布式流处理结合模型。所述方法包括:通过任务层弹性资源调度模型,调优流处理任务的虚拟化资源占用率与分配;基于任务层调度结果,通过系统层物理资源调度模型弹性调整物理计算资源;将减载技术集成到资源弹性调度的策略;建立响应时间、结果精度和资源使用率之间的关系;实时统计分布式流处理任务的工作负载和运行状态,自动调节资源分配计划和减载策略,通过一个有效的协议来执行它们。本发明通过Storm on yarn实验,结果表明自调节分布式流处理模型实现了对于计算资源的高效使用和输出结果准确性的保障,同时也能够保证系统的实时响应;而双层资源调度模型也能够在保障流处理任务稳定高效运行的前提下,最优化其计算资源的使用率。

基本信息
专利标题 :
分布式流数据处理系统虚拟化资源弹性调度管理研究
专利标题(英):
暂无
公开(公告)号 :
CN114518951A
申请号 :
CN202011308001.4
公开(公告)日 :
2022-05-20
申请日 :
2020-11-20
授权号 :
暂无
授权日 :
暂无
发明人 :
李弘曾晓南张金喜
申请人 :
广州数锐智能科技有限公司
申请人地址 :
广东省广州市天河区燕岭路93号新燕大厦1103
代理机构 :
代理人 :
优先权 :
CN202011308001.4
主分类号 :
G06F9/50
IPC分类号 :
G06F9/50  G06F9/48  
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06F
电数字数据处理
G06F9/00
程序控制装置,例如,控制单元
G06F9/06
应用存入的程序的,即应用处理设备的内部存储来接收程序并保持程序的
G06F9/46
多道程序装置
G06F9/50
资源分配,例如,中央处理单元的
法律状态
2022-05-20 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
  • 联系电话
    电话:023-6033-8768
    QQ:1493236332
  • 联系 Q Q
    电话:023-6033-8768
    QQ:1493236332
  • 关注微信
    电话:023-6033-8768
    QQ:1493236332
  • 收藏
    电话:023-6033-8768
    QQ:1493236332