一种针对流量分析的Spark平台动态资源调配方法

授权

摘要

一种针对流量分析的Spark平台动态资源调配方法，其特征在于，包括部分，其中，第一部分：通过Spark资源调度器，根据服务器中的CPU、内存等基本性能指标，结合Spark任务流程的复杂度，推荐一种较为合适的内存和核数的组合配置；第二部分：实现一种资源调度器，通过分析应用程序占用的CPU、内存、以及负载的网络流量数据特征，结合ARSA算法进行资源自适应分配。针对流量分析的Spark资源的自动化调度方法，不仅能够通过分析集群服务器的性能指标适配出合适的初始内存、核数配置，还能够根据实际流量的复杂度、大小等，进行自适应调整，充分利用集群资源，保证流量处理任务稳定运行。

基本信息

专利标题：

一种针对流量分析的Spark平台动态资源调配方法

专利标题（英）：

暂无

公开（公告）号：

CN112612587A

申请号：

CN202011559649.9

公开（公告）日：

2021-04-06

申请日：

2020-12-25

授权号：

CN112612587B

授权日：

2022-05-10

发明人：

张广兴何旭梁帅

申请人：

江苏省未来网络创新研究院

申请人地址：

江苏省南京市江宁区秣周东路12号悠谷2号楼19层

代理机构：

北京卓岚智财知识产权代理事务所(特殊普通合伙)

代理人：

蒋真

优先权：

CN202011559649.9

主分类号：

G06F9/48

IPC分类号：

G06F9/48 G06F9/50 G06F16/182