神经网络的梯度稀疏方法和梯度稀疏装置
公开
摘要
本申请提供人工智能领域中神经网络的梯度稀疏方法和相关装置。本申请提出了利用数据运算方法计算得到稀疏阈值，或者对实际稀疏度与预设稀疏度进行比较并基于比较结果来更新稀疏阈值，避免了使用排序操作来确定稀疏阈值，大大降低运算量，最终可以提高神经网络的训练效率。进一步地，本申请提出了每隔m轮迭代才更新一次稀疏阈值，从而每m轮迭代训练可以节省m‑1轮的稀疏阈值更新时间，进而可以提高神经网络的训练效率，m为大于1的整数。更进一步地，本申请还提出了稀疏阈值更新和梯度稀疏处理可以并行处理，从而可以提高神经网络的训练效率。
基本信息
专利标题 ：
神经网络的梯度稀疏方法和梯度稀疏装置
专利标题（英）：
暂无
公开（公告）号 ：
CN114611656A
申请号 ：
CN202011425588.7
公开（公告）日 ：
2022-06-10
申请日 ：
2020-12-08
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
李标智黄炜平徐斌
申请人 ：
华为技术有限公司
申请人地址 ：
广东省深圳市龙岗区坂田华为总部办公楼
代理机构 ：
北京同立钧成知识产权代理有限公司
代理人 ：
陈洪艳
优先权 ：
CN202011425588.7
主分类号 ：
G06N3/04
IPC分类号 ：
G06N3/04 G06N3/08
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06N
基于特定计算模型的计算机系统
G06N3/00
基于生物学模型的计算机系统
G06N3/02
采用神经网络模型
G06N3/04
体系结构，例如，互连拓扑
法律状态
2022-06-10 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
