Web日志挖掘的相关技术研究

论文摘要

随着Internet的迅速发展和不断普及,Web日志资源越来越多,如何分析和利用这些海量数据是当前突出的问题。Web日志挖掘是网络信息处理的一种新的技术,也是数据挖掘在Internet领域的一个重要应用。Web日志挖掘是将数据挖掘技术用于Web服务器日志以获取有规律性的知识和用户的访问行为模式,从而改善Web站点的组织结构,提高站点的访问质量,改进网站的性能。数据预处理是Web日志挖掘的重要环节,它决定模式发现和模式分析算法的性能。Web日志预处理主要包括5个环节:数据清理、用户识别、会话识别、路径补充和事务识别。本文对Web日志预处理的各个环节进行了研究,并介绍了各个环节的相关方法。在分析目前会话构造算法的基础上提出了将两种时间窗口结合来构造会话的方法。频繁序列模式挖掘是Web日志挖掘的一个重要研究方向,由于类Apriroi的序列模式挖掘算法要扫描序列数据库多次,且会产生庞大的候选集。本文采用了WAP-Tree结构来存储事务序列,只需扫描数据库两次,由于WAP-Mine算法要递归的产生条件子树,耗费内存空间。针对在WAP-Tree树上的挖掘算法WAP-Mine的不足,提出了基于WAP-Tree的新挖掘算法NWAP-Mine算法,实验证明了算法的有效性。针对现有的序列模式挖掘算法没有考虑网页的权重,提出了基于平均停留时间的兴趣度定义,针对现有网页兴趣度存在的不足,提出了一种改进的网页兴趣度,并将该兴趣度作为权重应用到权重序列模式挖掘算法,找出用户感兴趣的访问路径。通过实验表明将改进后的兴趣度应用于序列模式挖掘能得到更能体现用户访问行为的访问模式。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景及意义
• 1.2 研究现状
• 1.3 研究内容和框架
• 1.3.1 研究内容
• 1.3.2 论文框架
• 第2章 WEB挖掘和WEB日志挖掘
• 2.1 WEB挖掘技术
• 2.1.1 Web内容挖掘
• 2.1.2 Web结构挖掘
• 2.1.3 Web日志挖掘
• 2.2 WEB日志介绍
• 2.2.1 日志数据源
• 2.2.2 Web日志数据收集
• 2.3 数据抽象
• 第3章 WEB日志数据预处理
• 3.1 数据预处理
• 3.1.1 数据预处理介绍
• 3.1.2 Web日志数据预处理
• 3.2 WEB日志预处理过程
• 3.2.1 数据清理
• 3.2.2 用户识别
• 3.2.3 会话识别
• 3.2.4 路径补充
• 3.2.5 事务识别
• 3.3 改进的会话识别方法
• 3.3.1 改进会话识别算法
• 3.3.2 实验结果分析
• 3.4 本章小结
• 第4章 基于改进兴趣度的序列模式挖掘
• 4.1 序列模式介绍
• 4.2 常用序列模式算法
• 4.2.1 GSP算法
• 4.2.2 Prefixspan算法
• 4.2.3 基于权重的序列模式挖掘
• 4.3 页面兴趣度
• 4.3.1 常用页面兴趣度
• 4.3.2 改进的页面兴趣度
• 4.3.3 改进页面兴趣度的算法实验分析
• 4.4 本章小结
• 第5章 基于访问模式树的新算法
• 5.1 构建WAP-Tree
• 5.2 NWAP-Mine算法
• 5.3 实验分析
• 5.4 本章小结
• 总结
• 致谢
• 参考文献
• 攻读硕士学位期间发表的论文