流数据与维表关联方法及流计算装置
授权
摘要
本申请实施例提供一种流数据与维表关联方法及流计算装置,该装置包括数据采集单元和多个处理单元,各处理单元分别与join key的不同值对应。每个处理单元的本地缓存存储有预设维表的部分维表数据,该部分维表数据与该处理单元所对应的join key的至少一个值匹配。数据采集单元将获得的数据流划分为多个子流,并将每个子流发送给其join key的值对应的处理单元。处理单元根据子流的数据记录的join key的值从本地缓存中匹配维表数据,若匹配到,则将所匹配到的维表数据与该数据记录关联。如此,可以通过较小的缓存空间实现维表数据的全量缓存,提高了join性能。
基本信息
专利标题 :
流数据与维表关联方法及流计算装置
专利标题(英):
暂无
公开(公告)号 :
CN110232074A
申请号 :
CN201910472904.7
公开(公告)日 :
2019-09-13
申请日 :
2019-05-31
授权号 :
CN110232074B
授权日 :
2022-04-08
发明人 :
马东
申请人 :
新华三大数据技术有限公司
申请人地址 :
河南省郑州市高新技术产业开发区杜英街166号总部大观B18号楼
代理机构 :
北京超成律师事务所
代理人 :
吴迪
优先权 :
CN201910472904.7
主分类号 :
G06F16/2455
IPC分类号 :
G06F16/2455
相关图片
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06F
电数字数据处理
G06F16/2455
••••查询执行
法律状态
2022-04-08 :
授权
2019-11-12 :
实质审查的生效
IPC(主分类) : G06F 16/2455
申请日 : 20190531
申请日 : 20190531
2019-09-13 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
1、
CN110232074A.PDF
PDF下载