一种基于层稀疏化的分布式深度学习训练方法及系统
公开
摘要
本发明公开了一种基于层稀疏化的分布式深度学习训练方法及系统，属于分布式训练通信稀疏化技术领域，包括如下步骤：根据神经网络模型收敛特性，得到归一化窗口中心列表；利用层稀疏化方法和归一化窗口中心列表，得到层传输列表；根据层传输列表进行基于层稀疏化的分布式深度学习训练，得到权重更新参数，完成基于层稀疏化的分布式深度学习训练；并对应设置了基于层稀疏化的分布式深度学习训练方法的系统，本发明解决了现有的训练框架仅在网络层内部稀疏化的问题，有效提升了稀疏化程度，降低了通信量。
基本信息
专利标题 ：
一种基于层稀疏化的分布式深度学习训练方法及系统
专利标题（英）：
暂无
公开（公告）号 ：
CN114298277A
申请号 ：
CN202111627780.9
公开（公告）日 ：
2022-04-08
申请日 ：
2021-12-28
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
吕建成胡宴箐叶庆张钟宇郎九霖田煜鑫吕金地
申请人 ：
四川大学
申请人地址 ：
四川省成都市武侯区一环路南一段24号
代理机构 ：
北京正华智诚专利代理事务所(普通合伙)
代理人 ：
代维凡
优先权 ：
CN202111627780.9
主分类号 ：
G06N3/04
IPC分类号 ：
G06N3/04 G06N3/08 G06F15/78
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06N
基于特定计算模型的计算机系统
G06N3/00
基于生物学模型的计算机系统
G06N3/02
采用神经网络模型
G06N3/04
体系结构，例如，互连拓扑
法律状态
2022-04-08 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
