一种大数据联邦学习处理方法及系统
实质审查的生效
摘要

本发明涉及一种大数据联邦学习处理方法及系统。方法包括以下步骤:发起方和协同方分别将数据上传各自本地内部集群中并进行HDFS分布式存储;发起方建立学习项目并根据学习项目发起计算任务后进行初始化以形成任务链;在发起方与协同方之间建立起用于传递中间因子的消息通道;计算任务启动计算,发起方和协同方各自的Spark计算集群按需读取本地分布存储的数据进行计算。本发明利用HDFS分布式文件存储的特性,可以提供高效的数据读写能力;还利用Spark集群分布式计算的特性,极大提升了联邦学习任务的推理效率,为联邦学习提供高性能且高可用的执行环境,联邦学习整体效率得到提升。

基本信息
专利标题 :
一种大数据联邦学习处理方法及系统
专利标题(英):
暂无
公开(公告)号 :
CN114328432A
申请号 :
CN202111462397.2
公开(公告)日 :
2022-04-12
申请日 :
2021-12-02
授权号 :
暂无
授权日 :
暂无
发明人 :
王济平黎刚汤克云周健雄刘继华徐炽明
申请人 :
京信数据科技有限公司
申请人地址 :
广东省中山市东区中山五路57号7层
代理机构 :
深圳余梅专利代理事务所(特殊普通合伙)
代理人 :
陈余才
优先权 :
CN202111462397.2
主分类号 :
G06F16/182
IPC分类号 :
G06F16/182  G06F9/54  G06N20/00  G06N7/00  H04L67/1097  H04L67/10  H04L67/141  H04L67/56  
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06F
电数字数据处理
G06F16/182
•••分布式文件系统
法律状态
2022-04-29 :
实质审查的生效
IPC(主分类) : G06F 16/182
申请日 : 20211202
2022-04-12 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
  • 联系电话
    电话:023-6033-8768
    QQ:1493236332
  • 联系 Q Q
    电话:023-6033-8768
    QQ:1493236332
  • 关注微信
    电话:023-6033-8768
    QQ:1493236332
  • 收藏
    电话:023-6033-8768
    QQ:1493236332