一种CDN日志统计方法、装置及电子设备
实质审查的生效
摘要
本发明公开了一种CDN日志统计方法、装置及电子设备,存储有CDN日志数据的存储模块与多集群通信连接,所述方法应用于多集群中任一集群对应的处理设备,包括:从对应集群中的Hadoop分布式文件系统上读取CDN日志数据到Spark的对应分区中,并以CDN日志数据的部分字段组成维度组合作为CDN日志分类依据,以CDN日志类型作为键、将对应类型的CDN日志数值维度作为值;对同一个Spark分区内的每一个键遍历其对应的所有值构建对应的小顶堆数据结构;对所述集群中的不同Spark分区中相同的键所对应的小顶堆数据结构中的数据进行合并;将合并后得到的每一个键对应小顶堆数据结构中的数据同步到其他集群中。
基本信息
专利标题 :
一种CDN日志统计方法、装置及电子设备
专利标题(英):
暂无
公开(公告)号 :
CN114443606A
申请号 :
CN202111624627.0
公开(公告)日 :
2022-05-06
申请日 :
2021-12-27
授权号 :
暂无
授权日 :
暂无
发明人 :
曹国栋马佳骏彭华杰谭运保王浩光陈伟松唐中平
申请人 :
天翼云科技有限公司
申请人地址 :
北京市东城区青龙胡同甲1号、3号2幢2层205-32室
代理机构 :
代理人 :
优先权 :
CN202111624627.0
主分类号 :
G06F16/182
IPC分类号 :
G06F16/182 G06F16/18 H04L67/1095 H04L67/1097
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06F
电数字数据处理
G06F16/182
•••分布式文件系统
法律状态
2022-05-24 :
实质审查的生效
IPC(主分类) : G06F 16/182
申请日 : 20211227
申请日 : 20211227
2022-05-06 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载