基于梯度选择和自适应学习率的加权K异步联邦学习方法、系统...
公开
摘要
本发明公开了一种基于梯度选择和自适应学习率的加权K异步联邦学习方法、系统及装置，包括：云端初始化模型和学习率参数并广播当前的迭代次数和当前的全局模型。学习者接收广播的模型和迭代次数进行本地训练，当完成本地训练后将更新上传至云端。云端接收K个更新后，升级模型参数。通过累积历史梯度缓解异质性数据的影响，并基于延时程度聚合K个梯度缓解延时性的影响，并估计全局无偏梯度；然后选择与估计梯度下降方向一致的梯度，赋予权重；进一步裁剪延时梯度，并调整学习速率，更新并广播模型参数和迭代次数。重复云端和学习者的交互，直至模型的测试损失小于阈值，模型收敛。本发明根据延时程度自适应调整学习速率，提高了模型的预测精度。
基本信息
专利标题 ：
基于梯度选择和自适应学习率的加权K异步联邦学习方法、系统及装置
专利标题（英）：
暂无
公开（公告）号 ：
CN114565103A
申请号 ：
CN202210190627.2
公开（公告）日 ：
2022-05-31
申请日 ：
2022-02-28
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
杨树森任雪斌赵鹏周子昊李亚男吴帅君
申请人 ：
杭州卷积云科技有限公司
申请人地址 ：
浙江省杭州市余杭区仓前街道良睦路1288号6幢302-1室
代理机构 ：
西安通大专利代理有限责任公司
代理人 ：
张宇鸽
优先权 ：
CN202210190627.2
主分类号 ：
G06N20/00
IPC分类号 ：
G06N20/00
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06N
基于特定计算模型的计算机系统
G06N20/00
机器学习
法律状态
2022-05-31 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
