一种基于分布式架构的非结构化文件的流处理方法及系统
实质审查的生效
摘要
本申请提出了一种基于分布式架构的非结构化文件的流处理方法,该方法包括如下步骤:获取非结构化文件,将所述非结构化文件放入到FTP或MinIO中;设计基于Flink架构的FTP连接器或者MinIO连接器读取所述非结构化文件;基于Flink的分布式部署对所述非结构化文件进行动态处理,并将处理所述非结构化文件的进度信息记录并保存;在所述FTP连接器或者MinIO连接器中集成Format处理器,对所述非结构化文件进行解析及处理;编写Flink SQL将处理后的数据写入存储库。通过采用Flink的分布式架构,以流的形式读取大量并不断产生的非结构化文件,将流处理中的特性应用到非结构化文件的处理中,不影响整体的同时提高可扩展性,保证架构稳定性;利用编写SQL实现对文件的处理,降低开发门槛及成本。
基本信息
专利标题 :
一种基于分布式架构的非结构化文件的流处理方法及系统
专利标题(英):
暂无
公开(公告)号 :
CN114328435A
申请号 :
CN202111633267.0
公开(公告)日 :
2022-04-12
申请日 :
2021-12-29
授权号 :
暂无
授权日 :
暂无
发明人 :
郑思达郑汉军郭任煌邱锋兴廖宁刘富坚
申请人 :
厦门安胜网络科技有限公司
申请人地址 :
福建省厦门市集美区软件园三期诚毅大街358号1502-5单元
代理机构 :
厦门福贝知识产权代理事务所(普通合伙)
代理人 :
陈远洋
优先权 :
CN202111633267.0
主分类号 :
G06F16/182
IPC分类号 :
G06F16/182 G06F16/11
IPC结构图谱
G
G部——物理
G06
计算;推算或计数
G06F
电数字数据处理
G06F16/182
•••分布式文件系统
法律状态
2022-04-29 :
实质审查的生效
IPC(主分类) : G06F 16/182
申请日 : 20211229
申请日 : 20211229
2022-04-12 :
公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载