一种基于数据并行策略的分布式深度学习方法及系统
授权
摘要
本发明公开了一种基于数据并行策略的分布式深度学习方法及系统，本发明的系统包括一个分布式计算框架Spark、PyTorch深度学习框架、轻量级Web应用框架Flask及pickle、urllib2等相关组件；Spark框架提供集群资源管理、数据分发、分布式计算的功能；PyTorch深度学习框架，提供神经网络定义的接口，提供神经网络上层训练计算的功能；flask框架提供参数服务器功能；urllib2模块负责提供工作节点与参数服务器节点的网络通信功能；pickle负责将神经网络模型中的参数序列化与反序列化，以在网络上进行传输。本发明有效的将PyTorch与Spark结合起来，通过Spark将PyTorch与底层分布式集群解耦、吸取了各自的优势，提供便捷的训练接口，高效实现基于数据并行的分布式训练过程。
基本信息
专利标题 ：
一种基于数据并行策略的分布式深度学习方法及系统
专利标题（英）：
暂无
公开（公告）号 ：
CN109032671A
申请号 ：
CN201810662859.7
公开（公告）日 ：
2018-12-18
申请日 ：
2018-06-25
授权号 ：
CN109032671B
授权日 ：
2022-05-03
发明人 ：
李明侯孟书詹思瑜董浩王瀚席瑞董林森
申请人 ：
电子科技大学
申请人地址 ：
四川省成都市高新区（西区）西源大道2006号
代理机构 ：
电子科技大学专利中心
代理人 ：
周刘英
优先权 ：
CN201810662859.7
主分类号 ：
G06F9/38
IPC分类号 ：
G06F9/38 G06N3/04 G06N3/08
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F9/00
程序控制装置，例如，控制单元
G06F9/06
应用存入的程序的，即应用处理设备的内部存储来接收程序并保持程序的
G06F9/30
与执行机器指令相关的设计，例如指令译码
G06F9/38
并行执行指令的，例如，流水线、超前锁定
法律状态
2022-05-03 ：
授权
2019-01-11 ：
实质审查的生效
IPC(主分类) : G06F 9/38
申请日 : 20180625
申请日 : 20180625
2018-12-18 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
