Spark任务的提交方法、系统、客户端及服务端

授权

摘要

本发明提供一种Spark任务的提交方法、系统、客户端及服务端，其中，应用于系统的任务的提交方法包括：客户端以http方式将Spark任务提交请求通过与服务器连接的Socket路径发出；服务端获取以http方式发来的Spark任务提交请求，根据Spark任务提交请求，创建基于共享统一切入点变量的会话，提交Spark任务至大数据集群的边缘节点；其中，该大数据集群的边缘节点中存在Spark应用，该Spark应用以常驻进程的方式监听预设端口的Spark任务。上述技术方案为基于ServerSocket的Spark任务提交方案，提高了Spark任务提交的效率，实现了Spark任务提交过程的数据共享。

基本信息

专利标题：

Spark任务的提交方法、系统、客户端及服务端

专利标题（英）：

暂无

公开（公告）号：

CN111031123A

申请号：

CN201911255380.2

公开（公告）日：

2020-04-17

申请日：

2019-12-10

授权号：

CN111031123B

授权日：

2022-06-03

发明人：

周朝卫

申请人：

中盈优创资讯科技有限公司

申请人地址：

北京市海淀区中关村大街59号人大文化大厦5层

代理机构：

北京三友知识产权代理有限公司

代理人：

薛平

优先权：

CN201911255380.2

主分类号：

H04L29/08

IPC分类号：

H04L29/08 G06F9/54