并行Apriori算法的性能优化技术研究

论文摘要

随着计算机和互联网技术的不断发展及在各行业中的广泛使用,人们积累的各种数据成爆炸式增长,如何有效利用这些数据,是目前所面临的重大挑战。而企业往往也需要从大量的数据中挖掘和分析,得出准确有用的信息,这使得关联规则挖掘算法尤为重要。传统的并行Apriori关联规则算法在解决这类问题时由于存在着一些固有缺陷,因此效果表现不佳,而本文主要研究并行Apriori算法的性能优化技术。本文对传统的串并行Apriori算法进行深入分析,重点研究并行算法在逻辑流程方面和物理实现方面的优化技术,取得了以下几个方面的研究成果:1.提出关于并行算法逻辑流程的优化技术。通过研究当前并行算法的逻辑流程,给出了解决候选集过大和负载不均这两个缺陷的优化技术,并结合Trie树存储结构,给出了规则生成优化技术。实验结果表明,这些优化技术能够有效地减少候选集数量和减少负载不均情况,并提高规则生成效率。2.提出关于并行算法物理实现的优化技术。通过研究当前并行算法的物理实现,给出了解决数据库扫描次数过多缺陷的优化技术,并结合Trie树存储结构,给出了适应Trie树的内存分配优化技术。实验结果表明,这些优化技术能够有效地减少数据库扫描次数和提高内存利用率。基于上述研究成果,本文设计了并行Apriori算法规则挖掘系统。系统包括数据库模块,负载平衡模块,规则挖掘模块和规则生成模块等,能够有效地分析挖掘出所需的关联规则,为相关优化技术的实验和研究提供了一个基本的平台。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题研究背景和意义
• 1.2 国内外相关研究和综述
• 1.2.1 串行关联规则算法研究现状
• 1.2.2 并行关联规则算法研究现状
• 1.3 课题研究内容
• 1.3.1 并行Apriori算法的逻辑流程优化
• 1.3.2 并行Apriori算法的物理实现优化
• 1.4 本文的结构安排
• 第2章 Apriori算法的基本概念
• 2.1 关联规则挖掘基本概念
• 2.1.1 关联规则挖掘基本概念
• 2.1.2 关联规则挖掘基本定义
• 2.1.3 串并行算法设计要点
• 2.2 Apriori算法的基本概念
• 2.2.1 串行Apriori算法
• 2.2.2 并行Apriori算法
• 2.3 并行Apriori算法的优缺点与问题
• 第3章 并行Apriori算法的逻辑流程优化
• 3.1 引言
• 3.2 候选集生成优化
• 3.3 负载平衡优化
• 3.4 规则生成优化
• 3.5 实验与分析
• 3.5.1 实验运行环境
• 3.5.2 实验数据描述
• 3.5.3 算法评价指标
• 3.5.4 实验结果分析
• 第4章 并行Apriori算法的物理实现优化
• 4.1 引言
• 4.2 数据库扫描优化
• 4.2.1 数据库分块扫描优化技术
• 4.2.2 数据库压缩优化技术
• 4.3 数据存储结构优化
• 4.4 内存分配优化
• 4.5 实验与分析
• 4.5.1 实验数据描述
• 4.5.2 算法评价标准
• 4.5.3 实验结果分析
• 第5章 基于并行Apriori算法的关联规则挖掘系统
• 5.1 引言
• 5.2 系统的功能与目标
• 5.3 系统总体设计
• 5.3.1 系统原理
• 5.3.2 系统总体架构
• 5.4 系统详细设计
• 5.4.1 数据库模块
• 5.4.2 预处理模块
• 5.4.3 负载平衡模块
• 5.4.4 频繁集抽取模块
• 5.4.5 规则生成模块
• 5.4.6 前台展示模块
• 5.5 系统展示
• 结论
• 参考文献
• 致谢