一种分布式并行训练的方法和系统
授权
摘要
本发明涉及了本发明基于上述目的提出了一种分布式并行训练的方法，包括以下步骤：执行多个GPU基于训练模型的训练以得到训练参数；根据训练参数的传输所需带宽确定GPU与CPU之间的第一总线的第一GPU数量阈值，并将该第一GPU数量阈值与GPU的数量进行比较；响应于GPU的数量大于第一GPU数量阈值，将GPU分组并计算每组GPU的训练参数之和；将各组的该训练参数之和通过第一总线上传至CPU，并根据CPU对全部训练参数之和计算的梯度平均值更新各GPU的训练模型。根据本发明的分布式并行训练的方法及系统优化了分布式并行训练，提高训练效率、节省深度学习训练时间并在一定程度上减轻CPU负担、增强深度学习效果。
基本信息
专利标题 ：
一种分布式并行训练的方法和系统
专利标题（英）：
暂无
公开（公告）号 ：
CN110503194A
申请号 ：
CN201910736410.5
公开（公告）日 ：
2019-11-26
申请日 ：
2019-08-09
授权号 ：
CN110503194B
授权日 ：
2022-05-24
发明人 ：
王晓飞
申请人 ：
苏州浪潮智能科技有限公司
申请人地址 ：
江苏省苏州市吴中区吴中经济开发区郭巷街道官浦路1号9幢
代理机构 ：
北京连和连知识产权代理有限公司
代理人 ：
刘小峰
优先权 ：
CN201910736410.5
主分类号 ：
G06N3/063
IPC分类号 ：
G06N3/063 G06N3/08 G06F13/40 G06F13/42
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06N
基于特定计算模型的计算机系统
G06N3/00
基于生物学模型的计算机系统
G06N3/02
采用神经网络模型
G06N3/06
物理实现，即神经网络、神经元或神经元部分的硬件实现
G06N3/063
采用电的
法律状态
2022-05-24 ：
授权
2019-12-20 ：
实质审查的生效
IPC(主分类) : G06N 3/063
申请日 : 20190809
申请日 : 20190809
2019-11-26 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
