一种基于动态容量的Spark内存替换方法
公开
摘要
本申请公开的基于动态容量的Spark内存替换方法，包括：配置第一替换算法和第二替换算法；当有新的RDD需要存储时，根据内存紧张程度进行替换算法的选用；当触发第二替换算法时，将已有RDD分为有依赖计数和无依赖计数的两个表进行维护；随后获取已有RDD的权重大小；接着确认无依赖计数RDD表是否为空：若不为空，则在无依赖计数的RDD表中按权重从小到大将已有RDD逐个驱逐出内存，直到足够缓存新的RDD则停止；若为空，则遍历有依赖计数RDD表，以同样的方法驱逐RDD，直到空间足够容纳新的RDD。本方案能够在不同内存环境的条件下，更大限度的降低Spark在作业时的读写开销以及对性能的影响，提高缓存命中率，提升Spark的运行效率。
基本信息
专利标题 ：
一种基于动态容量的Spark内存替换方法
专利标题（英）：
暂无
公开（公告）号 ：
CN114610657A
申请号 ：
CN202210311966.1
公开（公告）日 ：
2022-06-10
申请日 ：
2022-03-28
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
王进张睿涵张经宇王磊王静王建新
申请人 ：
长沙理工大学
申请人地址 ：
湖南省长沙市（天心区）万家丽南路二段960号
代理机构 ：
北京和信华成知识产权代理事务所(普通合伙)
代理人 ：
颜思文
优先权 ：
CN202210311966.1
主分类号 ：
G06F12/123
IPC分类号 ：
G06F12/123 G06F12/127
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F12/00
安装在筛选装置之上的在存储器系统或体系结构内的存取、寻址或分配
G06F12/02
寻址或地址分配；地址的重新分配
G06F12/08
在分级结构的存储系统中的寻址、地址分配、或地址的重新分配，例如，虚拟存储系统
G06F12/12
替换控制
G06F12/121
使用置换算法
G06F12/123
带有寿命列表的, 例如：排队, 最近最多使用 列表或最近最少使用列表
法律状态
2022-06-10 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
