分布式流水线的数据处理方法、装置及存储介质
实质审查的生效
摘要
本申请实施例提供了一种分布式流水线的数据处理方法、装置、电子设备及存储介质,涉及数据库技术领域,适用于MPP数据库中跨节点多任务交换数据场景。该方法包括创建异步执行的数据处理线程以及数据传输线程;通过数据传输线程获得上游任务生成的压缩后数据;通过数据处理线程对上游任务的压缩后数据解压缩并执行当前任务,确定并根据当前的目标压缩算法对当前任务生成的数据进行压缩,将当前任务生成的压缩后数据存放至发送缓冲区;通过数据传输线程向相应的下游任务发送发送缓冲区中的数据。本申请实施例能够充分利用节点的算力并实现生产数据和发送数据的动态平衡,提高整条流水线的吞吐量和资源利用率,减少查询执行耗时。
基本信息
专利标题 :
分布式流水线的数据处理方法、装置及存储介质
专利标题(英):
暂无
公开(公告)号 :
CN114428786A
申请号 :
CN202111537765.5
公开(公告)日 :
2022-05-03
申请日 :
2021-12-15
授权号 :
暂无
授权日 :
暂无
发明人 :
方祝和刘奇黄东旭崔秋
申请人 :
平凯星辰(北京)科技有限公司
申请人地址 :
北京市海淀区西小口路66号中关村东升科技园·北领地C-1楼2层207
代理机构 :
北京市立方律师事务所
代理人 :
张筱宁
优先权 :
CN202111537765.5
主分类号 :
G06F16/24
IPC分类号 :
G06F16/24 G06N3/02 H03M7/30
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06F
电数字数据处理
G06F16/24
••查询
法律状态
2022-05-20 :
实质审查的生效
IPC(主分类) : G06F 16/24
申请日 : 20211215
申请日 : 20211215
2022-05-03 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载