基于信息流的大数据存储系统
实质审查的生效
摘要

本发明公开了基于信息流的大数据存储系统,该存储系统旨在解决现有技术下任务不能并行处理,因此数据存储的耗时较长,且不能对数据进行预处理,源数据中含有较多的有问题数据,后续的处理难度大,并且没有创建索引,不利于数据的查找的技术问题。该存储系统包括数据抓取单元、数据预处理单元和数据存储单元。该存储系统利用map任务有5个复制线程,因此可以并行地复制map的输出任务,因此提高数据存储的速度,且通过数据预处理单元针对数据抓取单元抓取到的有问题数据进行清洗和转换,其目的为纠正错误、删除重复项、统一规格、修正逻辑、转换构造、数据压缩,从而保证数据的完整性,便于数据的后续处理,同时可以加快数据的检索速度。

基本信息
专利标题 :
基于信息流的大数据存储系统
专利标题(英):
暂无
公开(公告)号 :
CN114490623A
申请号 :
CN202210336076.6
公开(公告)日 :
2022-05-13
申请日 :
2022-04-01
授权号 :
暂无
授权日 :
暂无
发明人 :
魏俊杰蓝岸何翼熊黄庄辉黄松杰郑裕豪黄金田梁焯源黄莹涛覃俊华叶国龙
申请人 :
深圳新闻网传媒股份有限公司
申请人地址 :
广东省深圳市福田区莲花街道景华社区商报路2号新媒体大厦21层-22层
代理机构 :
北京中索知识产权代理有限公司
代理人 :
邹长斌
优先权 :
CN202210336076.6
主分类号 :
G06F16/215
IPC分类号 :
G06F16/215  G06F16/22  G06F16/23  G06F16/951  G06F16/955  G06F9/50  
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06F
电数字数据处理
G06F16/215
•••提高数据质量;数据清理,例如重复数据消除、删除无效条目或更正排版错误
法律状态
2022-05-31 :
实质审查的生效
IPC(主分类) : G06F 16/215
申请日 : 20220401
2022-05-13 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
  • 联系电话
    电话:023-6033-8768
    QQ:1493236332
  • 联系 Q Q
    电话:023-6033-8768
    QQ:1493236332
  • 关注微信
    电话:023-6033-8768
    QQ:1493236332
  • 收藏
    电话:023-6033-8768
    QQ:1493236332