改进关联规则算法在Web挖掘中的应用研究

论文摘要

在竟争日益激烈的网络经济中,只有赢得用户,才能最终赢得竞争的优势。网站是企业进行信息发布的平台,是企业对外的形象和窗口。随着Web站点规模和复杂度的增加,站点的设计和维护工作变得越来越困难。对于企业运营方而言,为了吸引和留住更多的用户,就需要更好的方法或者是工具来掌握用户的访问兴趣、访问频度等等,从而动态的调整页面结构,改进服务,以满足访问者的需求。为了解决这方面的需求,Web数据挖掘被越来越多的人所关注。Web数据挖掘就是利用数据挖掘的思想和方法,在Web上挖掘有用的信息。本文基于国内外研究成果,首先介绍传统电子商务的基本概念,引入数据挖掘技术,并对数据挖掘的分类和过程进行了阐述。具体应用到Web的时候,着重介绍了Web访问信息挖掘,从它的构成要素、特点、挖掘过程以及应用全方面进行了叙述。在全面分析Web访问信息挖掘的数据准备过程中,提到了Web日志挖掘,针对数据预处理过程中遇到的难题,提出了一个减少数据预处理工作量的方法——采用网站过滤器。同时本文通过分析传统的关联规则算法Apriori存在的不足,给出了一个改进的算法DedApriori。并将其嵌入开源数据挖掘工具Weka,然后对不同规模数据挖掘的结果进行了比较。最后本文利用Web挖掘的思想,结合多种挖掘工具的优点对一个商业网站的部分日志和部分数据库交易记录进行了挖掘。并针对挖掘的结果进行了细致的分析,最终提出了一种改进网站结构的方案。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 研究的目的和意义
• 1.2 国内外研究应用情况
• 1.3 本文的工作和结构
• 第2章 数据挖掘与Web 挖掘
• 2.1 电子商务概述
• 2.2 数据挖掘
• 2.2.1 数据挖掘技术概述
• 2.2.2 数据挖掘过程
• 2.3 Web数据挖掘
• 2.3.1 Web 数据挖掘概述
• 2.3.2 Web 数据挖掘分类
• 2.4 Web访问信息挖掘的要素构成
• 2.5 Web访问信息挖掘过程
• 2.6 Web访问信息挖掘的应用
• 2.7 本章小结
• 第3章 Web 访问信息挖掘的数据准备
• 3.1 Web日志挖掘
• 3.2 Web日志挖掘的数据预处理
• 3.3 一个减少数据处理工作量的方法
• 3.4 本章小结
• 第4章 关联规则算法在Web 访问信息挖掘中应用
• 4.1 关联规则
• 4.1.1 关联规则的基本概念
• 4.1.2 关联规则算法评价
• 4.1.3 Apriori 算法的改进出发点
• 4.1.4 Apriori 改进算法
• 4.1.5 DedApriori 算法的性能测试
• 4.2 本章小结
• 第5章 网站日志和数据库交易数据挖掘分析
• 5.1 马克威分析系统、WUM 和WEKA挖掘工具简介
• 5.2 WEKA中实现改进的DEDAPRIORI算法
• 5.3 用马克威分析系统，WEKA和WUM 对数据进行挖掘
• 5.3.1 数据集选择
• 5.3.2 日志预处理
• 5.3.3 购物记录和Web 日志格式转换
• 5.3.4 挖掘结果
• 5.3.5 挖掘结果分析
• 5.3.6 网站设计改进
• 5.4 本章小结
• 第6章 总结与展望
• 6.1 本文的工作
• 6.2 进一步的工作
• 参考文献
• 致谢
• 附录：攻读硕士学位期间发表论文情况