一种实时数据全量获取方法、装置及计算机设备
公开
摘要
本发明提供一种实时数据全量获取方法、装置及计算机设备。方法包括：利用flinkcdc组件监听并采集mysql数据库的binlog数据；对采集的binlog数据分配全局排序id，在写入kafka系统时，按表的主键作为分区策略，主键值采用hash分区，使相同表数据的相同主键数据在同一个分区；创建doris大宽表，其中除主键以外的其它字段均采用REPLACE_IF_NOT_NULL代替；创建多个flink流任务，将kafka系统中多个dwd层或者dws层数据通过stream load方式写入至doris大宽表，使doris大宽表中相同主键的数据被覆盖更新；根据实际需求查询doris大宽表获取全量数据。本发明提供的有益效果是：主要解决了mysql跨库分析的问题,且成本低。
基本信息
专利标题 ：
一种实时数据全量获取方法、装置及计算机设备
专利标题（英）：
暂无
公开（公告）号 ：
CN114579614A
申请号 ：
CN202210128596.8
公开（公告）日 ：
2022-06-03
申请日 ：
2022-02-11
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
王祖正汪健吴凡
申请人 ：
武汉物易云通网络科技有限公司
申请人地址 ：
湖北省武汉市东湖新技术开发区光谷大道77号金融后台服务中心一期A3栋12层
代理机构 ：
武汉知产时代知识产权代理有限公司
代理人 ：
孔灿
优先权 ：
CN202210128596.8
主分类号 ：
G06F16/2455
IPC分类号 ：
G06F16/2455 G06F16/23 G06F16/27
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F16/2455
••••查询执行
法律状态
2022-06-03 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
