基于MapReduce的并行频繁项集增量数据挖掘方法

授权

摘要

本发明提出了一种基于MapReduce的并行频繁项集增量数据挖掘方法(MR‑PARIMIEG)。S1，设计基于信息熵的SIM‑IE策略来合并数据集中的相似数据项，根据合并后的数据集进行Can树构造，降低了最终生成的Can树结构的空间占用；S2，提出基于遗传算法的DST‑GA策略用于获取大数据集中的相对最优动态支持度阈值，根据所述相对最优动态支持度阈值进行频繁模式挖掘；S3，使用并行LZO数据压缩算法对Map端输出的数据进行压缩来减少传输的数据规模，从而减少了内存与磁盘之间的IO操作频次，最终加速Map与Reduce阶段的数据传输过程。本发明实用简便，与已有的基于MapReduce并行频繁项集增量挖掘方法相比较，本发明提出的方法在时间复杂度和空间复杂度等方面都有明显提高。

基本信息

专利标题：

基于MapReduce的并行频繁项集增量数据挖掘方法

专利标题（英）：

暂无

公开（公告）号：

CN112925821A

申请号：

CN202110177059.8

公开（公告）日：

2021-06-08

申请日：

2021-02-07

授权号：

CN112925821B

授权日：

2022-05-13

发明人：

毛伊敏邓千虎

申请人：

江西理工大学

申请人地址：

江西省赣州市章贡区红旗大道86号

代理机构：

重庆天成卓越专利代理事务所(普通合伙)

代理人：

王宏松

优先权：

CN202110177059.8

主分类号：

G06F16/2458

IPC分类号：

G06F16/2458 G06K9/62 G06N3/12