基于Spark的任务处理方法及系统

授权

摘要

本发明公开了一种基于Spark的任务处理方法及系统，其中，任务处理方法，包括Map阶段，在Map阶段中包括：获取待处理数据及ReduceTask的数量；每个MapTask创建一bucket；MapTask根据ReduceTask的数量对给定范围的待处理数据进行切分，并将各自生成的结果存储在对应的bucket中；依次将bucket中的数据写入本地文件系统，完成MapTask，其中，每个bucket中的数据形成一个任务文件，任务文件中包括根据不同的ReduceTask生成的多个FileSegment。在将其写入本地文件系统的过程中，大大降低了磁盘的I/O负担和对于内存缓冲区的开销，从而提高了Spark Shuffle读写过程中的稳定性。

基本信息

专利标题：

基于Spark的任务处理方法及系统

专利标题（英）：

暂无

公开（公告）号：

CN109388615A

申请号：

CN201811142575.1

公开（公告）日：

2019-02-26

申请日：

2018-09-28

授权号：

CN109388615B

授权日：

2022-04-01

发明人：

王海波魏枫

申请人：

智器云南京信息科技有限公司

申请人地址：

江苏省南京市秦淮区晨光路98号

代理机构：

上海硕力知识产权代理事务所(普通合伙)

代理人：

郭桂峰

优先权：

CN201811142575.1

主分类号：

G06F16/13

IPC分类号：

G06F16/13 G06F16/172

IPC结构图谱

G部——物理

G06

计算；推算或计数

G06F

电数字数据处理

G06F16/13

••文件访问结构，例如分布式索引

法律状态

2022-04-01 ：

授权

2019-03-22 ：

实质审查的生效

IPC(主分类) : G06F 16/13
申请日 : 20180928

2019-02-26 ：

公开

注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。

文件下载

暂无PDF文件可下载