一种面向神经网络的数据并行处理方法及系统
授权
摘要
本发明公开一种面向神经网络的数据并行处理方法及系统，涉及神经网络领域，能够解决训练循环神经网络困难、效率低的问题。所述方法包括：对各GPU利用并行初始化函数进行初始化；将用于初始化神经网络的模型初始化函数写入并行初始化函数为各GPU建立的输入管道；将训练数据按照GPU数量均分为训练数据块，并将各训练数据块和内部训练函数分别写入各GPU的输入管道中；各GPU的内部训练函数对分配至自身的训练数据块进行同步训练，得到各网络参数组的梯度值；计算所有GPU中对应神经网络同一层的网络参数组的平均梯度值；各GPU根据同一层的网络参数组的平均梯度值更新相应的网络参数。本发明尤其适用于循环神经网络的数据处理。
基本信息
专利标题 ：
一种面向神经网络的数据并行处理方法及系统
专利标题（英）：
暂无
公开（公告）号 ：
CN108021395A
申请号 ：
CN201711455682.5
公开（公告）日 ：
2018-05-11
申请日 ：
2017-12-27
授权号 ：
CN108021395B
授权日 ：
2022-04-29
发明人 ：
宋洪伟
申请人 ：
北京金山安全软件有限公司
申请人地址 ：
北京市海淀区小营西路33号二层东区
代理机构 ：
北京市广友专利事务所有限责任公司
代理人 ：
祁献民
优先权 ：
CN201711455682.5
主分类号 ：
G06F9/38
IPC分类号 ：
G06F9/38 G06N3/08
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F9/00
程序控制装置，例如，控制单元
G06F9/06
应用存入的程序的，即应用处理设备的内部存储来接收程序并保持程序的
G06F9/30
与执行机器指令相关的设计，例如指令译码
G06F9/38
并行执行指令的，例如，流水线、超前锁定
法律状态
2022-04-29 ：
授权
2018-06-05 ：
实质审查的生效
IPC(主分类) : G06F 9/38
申请日 : 20171227
申请日 : 20171227
2018-05-11 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
