一种联邦学习自适应梯度量化方法

授权

摘要

本发明公开了一种联邦学习自适应梯度量化方法，初始化各工作节点的训练样本和本地模型，利用训练样本训练本地模型，得到局部梯度，并根据各工作节点得到的量化等级对局部梯度进行量化；将局部梯度上传至参数服务器进行梯度聚合，并将聚合结果传输回各工作节点；各工作节点利用量化后的聚合梯度对本地模型参数进行更新；判断迭代轮数是否满足预设间隔时间阈值，若满足则广播各工作节点链路状态，及时调整自身量化等级，否则进入迭代训练过程，直至达到预设条件，结束训练；本发明根据节点链路的实时带宽自适应地调整梯度的量化比特，有效缓解straggler问题，在完成传统量化方法降低通信开销任务基础上，提升了带宽资源利用率，完成更高效的联邦学习训练。

基本信息

专利标题：

一种联邦学习自适应梯度量化方法

专利标题（英）：

暂无

公开（公告）号：

CN113315604A

申请号：

CN202110574087.3

公开（公告）日：

2021-08-27

申请日：

2021-05-25

授权号：

CN113315604B

授权日：

2022-06-03

发明人：

范晨昱吴昊章小宁李永耀

申请人：

电子科技大学

申请人地址：

四川省成都市高新区（西区）西源大道2006号

代理机构：

北京正华智诚专利代理事务所(普通合伙)

代理人：

李林合

优先权：

CN202110574087.3

主分类号：

H04L1/00

IPC分类号：

H04L1/00 H04W28/06 G06N20/20