一种Python-Web环境中多用户共享使用Spark集...
授权
摘要
本发明涉及一种Python‑Web环境中多用户共享使用Spark集群的实现方法和系统。本发明引入多进程来支撑多个Spark上下文，能够利用有限数量的Spark上下文来服务和支持多用户的任务计算请求；利用协程而不是线程来守护子进程，协程之间自主调度；能够将任务计算结果或状态异步返回以便实时响应用户的请求，满足了Web实时交互式使用的需求；利用了Spark任务间调度的特性，对于一些耗时较长的任务，给予用户是否终止该任务的权限，能够让Web用户终止正在运行的Spark任务。本发明能够解决Python开发环境中多Web用户共享使用Spark集群的问题。
基本信息
专利标题 ：
一种Python-Web环境中多用户共享使用Spark集群的实现方法和系统
专利标题（英）：
暂无
公开（公告）号 ：
CN110471777A
申请号 ：
CN201910568205.2
公开（公告）日 ：
2019-11-19
申请日 ：
2019-06-27
授权号 ：
CN110471777B
授权日 ：
2022-04-15
发明人 ：
易秀娟孟珍王学志周园春
申请人 ：
中国科学院计算机网络信息中心
申请人地址 ：
北京市海淀区中关村南四街4号
代理机构 ：
北京君尚知识产权代理有限公司
代理人 ：
邱晓锋
优先权 ：
CN201910568205.2
主分类号 ：
G06F9/54
IPC分类号 ：
G06F9/54 G06F16/25 G06F16/28
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F9/00
程序控制装置，例如，控制单元
G06F9/06
应用存入的程序的，即应用处理设备的内部存储来接收程序并保持程序的
G06F9/46
多道程序装置
G06F9/54
程序间的通信
法律状态
2022-04-15 ：
授权
2019-12-13 ：
实质审查的生效
IPC(主分类) : G06F 9/54
申请日 : 20190627
申请日 : 20190627
2019-11-19 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
