一种分布式计算作业日志数据处理方法和系统
授权
摘要

本发明公开了一种分布式计算作业日志数据处理方法和系统。该方法包括:日志标记,针对分布式计算引擎的各个计算节点,将不同计算作业应用实时产生的日志根据唯一标识进行标记;汇聚入库,将标记后的计算作业应用日志和系统日志采用消息队列采集,并根据日志标识进行日志拆分,按照一个计算作业应用对应一份日志的粒度进行实时分流,并将分流后的日志利用搜索引擎进行索引数据入库,构建计算作业应用日志的日志搜索数据库。本发明的有益效果为:通过针对实时计算作业产生的日志进行标识,区分不同的计算作业,利用高可用的日志采集方式,进行实时计算引擎的日志汇聚,并利用搜索引擎进行索引数据入库,用于日常日志搜索,提高了日志查询效率。

基本信息
专利标题 :
一种分布式计算作业日志数据处理方法和系统
专利标题(英):
暂无
公开(公告)号 :
CN114153823A
申请号 :
CN202210120296.5
公开(公告)日 :
2022-03-08
申请日 :
2022-02-09
授权号 :
CN114153823B
授权日 :
2022-05-17
发明人 :
朱辉张涛薛延波赵鹏
申请人 :
北京华品博睿网络技术有限公司
申请人地址 :
北京市朝阳区太阳宫中路16号院1号楼18层1801内09
代理机构 :
北京君泊知识产权代理有限公司
代理人 :
周倩
优先权 :
CN202210120296.5
主分类号 :
G06F16/21
IPC分类号 :
G06F16/21  G06F16/22  G06F16/2453  G06F9/54  
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06F
电数字数据处理
G06F16/21
••数据库设计、管理或维护
法律状态
2022-05-17 :
授权
2022-03-25 :
实质审查的生效
IPC(主分类) : G06F 16/21
申请日 : 20220209
2022-03-08 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
  • 联系电话
    电话:023-6033-8768
    QQ:1493236332
  • 联系 Q Q
    电话:023-6033-8768
    QQ:1493236332
  • 关注微信
    电话:023-6033-8768
    QQ:1493236332
  • 收藏
    电话:023-6033-8768
    QQ:1493236332