改进的关联规则挖掘算法在WEB挖掘中的应用

论文摘要

近年来,随着Internet技术的快速普及和迅猛发展,使各种信息可以以非常低的成本在网络中获得。同时,由于Internet在全球的互连互通,可以从中取得的数据量难以计算。为此,如何在Internet这个全球最大的数据集合中发现有用信息己成为研究热点,这就是Web挖掘。Web挖掘的方法和技术很多,其中挖掘关联规则是Web挖掘研究的一个重要方面,对关联规则的挖掘问题进行优化研究非常必要,是目前该领域研究热点之一。尽管传统的数据库技术和数据挖掘技术己经取得了飞速的发展并且日趋完善,但由于Web数据结构的特殊性,使得传统技术不能直接应用在Web的信息挖掘中。Web日志数据是记录用户对Web站点访问信息的数据,保存着大量用户访问路径信息,从Web日志中发现有用的信息是非常必要的,对这些信息的分析有利于设计人员掌握用户的喜好和访问习惯,网站设计人员应考虑调整网站结构,对用户比较关心的实时信息查询加大投入力度,找出一个如何更好地去优化网站结构的策略。本文针对关联规则在网络用户访问日志的数据挖掘应用,做了以下研究工作:1.深入研究了数据挖掘技术,包括它的基本概念、基本原理、主要算法、以及数据挖掘的主要流程等;深入学习Web数据挖掘的基本知识、流程、以及研究和发展状况。2.在上述研究的基础上,对关联分析中关联规则挖掘算法FP-Growth算法展开具体的研究,并提出了一种改进的关联规则挖掘算法（DFP-Growth算法）,算法进行了以下3点改进:①算法不再需要根据头指针表和FP树生成条件子树而挖掘频繁模式。从而简化了原算法的频繁模式挖掘工作,提高了挖掘效率。②在建立FP-tree之前,对事务集按照支持度大小进行纵向排序,减少了FP-tree的共享前缀的搜索时间,减低了时间复杂度。③引入两维数组来记录事务集项目之间的支持度关系,从而减少搜索次数。3.对一个企业商务应用网站的用户访问日志进行研究,在分析了日志数据的结构与含义后从“Web使用挖掘”的角度提出挖掘需求,根据需求对采集数据进行了一系列预处理,避免了挖掘算法产生大量无用序列的问题,然后用改进后的算法对事务集进行挖掘,挖掘出数据中有意义的关联规则,为企业商务网站的优化提供了有价值的指导。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 论文背景及意义
• 1.1.1 研究背景
• 1.1.2 研究意义
• 1.2 研究现状
• 1.3 论文研究的主要内容
• 第二章 数据挖掘技术概述
• 2.1 数据挖掘基本概念
• 2.1.1 数据挖掘过程
• 2.1.2 Data Mining 过程注记
• 2.2 数据挖掘的知识
• 2.3 数据挖掘的主要流程
• 2.4 数据挖掘分析常见方法
• 第三章 WEB 数据挖掘
• 3.1 WEB 数据挖掘
• 3.2 WEB 挖掘流程
• 3.3 WEB 挖掘分类及各自的研究现状及发展
• 3.3.1 Web 内容挖掘
• 3.3.2 Web 结构挖掘
• 3.3.3 Web 使用挖掘
• 第四章 关联规则及其挖掘算法
• 4.1 基本慨念和问题描述
• 4.2 关联规则挖掘的算法
• 4.3 FP-GROWTH 实现基本算法
• 4.3.1 FP-growth 实现基本算法的两个步骤
• 4.3.2 FP-growth 实现基本算法的两个步骤的举例说明
• 第五章 改进的关联规则挖掘算法DFP-GROWTH 实现
• GROWTH 算法的改进'>5.1 基于FP_GROWTH 算法的改进
• 5.1.1 基于FP-Growth 算法的关联规则挖掘新算法DFP-Growth
• 5.2 从性能上进一步改进FP 树生成算法
• 5.3 改进后算法对支持度和置信度计算的支持
• 5.3.1 支持度
• 5.3.2 置信度
• 5.4 基于改进算法的频繁序列挖掘
• 5.5 利用支持度数组对FP-GROWTH 方法进行改进
• 5.5.1 支持度
• 5.5.2 置信度
• 5.5.3 分析与讨论
• 第六章 FP-GROWTH 算法与改进算法的性能比较
• 6.1 实验目的
• 6.2 实验工具与环境
• 6.3 实验过程6.3.1 实验流程
• 6.4 FP-growth 算法与改进的FP-growth 算法（DFP-Growth 算法）的性能指标分析
• 6.5 算法分析和总结
• 第七章 网站日志分析模型总体设计
• 7.1 设计背景
• 7.2 总体结构
• 7.3 挖掘模型的设计
• 7.3.1 数据源分析
• 7.3.2 数据预处理
• 7.3.3 建立事务集
• 7.4 挖掘结果分析
• 第八章 总结与展望
• 8.1 总结
• 8.2 展望
• 参考文献
• 致谢
• 攻读学位期间发表的学术论文目录