基于关联规则的数据挖掘算法研究

论文摘要

数据挖掘或知识发现是用于数据分析和理解、揭示数据内部知识的技术,在最近几年里已被广泛的研究,其中关联规则是数据挖掘的一个重要的问题。关联规则的挖掘必须经过概念提出、概念接受、广泛研究和探索、逐步应用和大量应用等阶段。目前,关联规则的基本概念和研究方法趋于清晰,它的研究正向着更深入的方向发展,大部分学者认为它的研究仍然处于广泛研究和探索阶段,迫切需要在基础理论、应用模式、以及挖掘算法等方面进行创新。同时,关联规则挖掘需要在挖掘效率、可用性、精确性等方面得到提升。因此,研究者需要探索新的关联规则挖掘理论和模型,需要对一些传统的算法进行改进;也需要研究新的更有效的算法等。鉴于目前数据挖掘技术和关联规则挖掘研究现状和发展趋势选择了这一课题开展相关工作。在关联规则理论方面,对关联规则的基本概念,关联规则的典型算法,及其算法研究新进展进行了全面地分类、归纳和总结,同时也针对各类算法的实用条件,算法间的差别进行了客观地比较。在关联规则挖掘算法方面,针对大数据集挖掘过程中对内存和CPU等系统资源要求较高的情况,在关联规则挖掘前提出以二进制序列集来组织数据,提高整个关联规则挖掘中项目集的存储效率;在关联规则挖掘方面提出两种数据结构构造算法,二进制序列密集树算法和频繁模式树的正负关联规则挖掘算法,前者首先是对数据进行压缩,把较大的事务数据集聚为一个相对较小的数据结构,用以计算二项集的支持度和致信度;然后在二进制频繁项集树上,利用二项集的支持度和致信度信息从树的顶层直至底层构造频繁项集,进而挖掘出所有的关联规则;同时为避免单一挖掘正关联规则的局限性,提出基于频繁模式树的正负关联规则挖掘算法,该算法将事务数据库中出现的正项目和隐含的负项目进行处理,打破了先挖掘正关联规则,其次再挖掘负关联规则这种单一的挖掘模式。这两种数据结构算法只需一次扫描整个数据库而且不产生侯选集就可以从数据库中挖掘所有的正,负关联规则,大大的提高了运算的效率。试验结果表明,该算法在挖掘效率、可用性,算法扩展性方面有较好的性能。该算法对数据挖掘的作用来说,具有一定的实用价值,一方面,它可以给研究数据挖掘关联规则的科研人员提供思路,供科研人员参考;另一方面,如果将其整合到其它现有的数据挖掘工具中,可以大大提高算法的实用价值。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景
• 1.2 拟解决的问题和本文的创新性工作
• 1.3 论文的研究内容
• 第二章 数据挖掘技术
• 2.1 数据挖掘的基本概念
• 2.1.1 数据挖掘的技术含义
• 2.1.2 数据挖掘研究的理论基础
• 2.2 数据挖掘技术的产生背景
• 2.2.1 数据挖掘技术产生的商业需求分析
• 2.2.2 数据挖掘技术产生的技术背景分析
• 2.3 数据挖掘技术的分类问题
• 2.4 数据挖掘的步骤
• 第三章 关联规则数据挖掘
• 3.1 关联规则的相关概念
• 3.2 关联规则的典型算法
• 3.2.1 关联规则的搜索算法
• 3.2.2 基于APRIORI 类的关联规则算法
• 3.2.3 不产生频繁候选项的关联规则算法
• 3.3 基于复杂数据属性的算法扩展
• 3.4 关联规则挖掘算法的新进展
• 第四章 二进制密集树的关联规则挖掘算法
• 4.1 引言
• 4.2 事务的二进制序列数据组织
• 4.2.1 二进制序列集的定义
• 4.2.2 事务的二进制序列表示
• 4.3 频繁项二进制密集树算法
• 4.3.1 二进制数组密集树算法
• 4.3.2 二进制密集树路径码算法
• 4.3.3 频繁项集树算法
• 4.3.4 频繁项集树关联规则算法
• 4.4 APRIORI 算法
• 4.5 试验结果与性能评估
• 第五章 基于频繁模式树的正负关联规则挖掘算法
• 5.1 单一正关联规则缺陷
• TREE'>5.2 含负项目的频繁模式树FPN_TREE
• 5.2.1 基本概念
• 5.2.2 算法思想及其方法描述
• 5.3 频繁模式树一般关联规则挖掘
• 5.4 关联规则更新算法
• 5.5 算法性能分析
• 5.6 小结
• 第六章 结论与展望
• 6.1 本文总结
• 6.2 展望
• 致谢
• 参考文献
• 攻读硕士学位期间发表的论文