基于粗糙集的Web日志挖掘

基于粗糙集的Web日志挖掘

论文摘要

粗糙集理论是一种刻划不完整性和不确定性的数学工具,它主要的特点在于不需要关于数据的任何预备的或额外的信息就能够有效地分析和处理各种不完备信息,并从中发现隐含的知识,揭示潜在的规律。粗糙集理论已经在决策支持、模式识别、过程控制、机器学习等许多科学和工程领域得到成功的应用,并日益受到国际学术界的重视。粗糙集问题的核心在于数据离散化和属性的约简。但是,已经证明求解所有约简和求解最小约简都是NP-hard问题,因此,寻求快速的约简算法仍是粗糙集理论的主要研究课题之一。本文着重研究数据挖掘的粗糙集理论,尤其是数据离散和属性约简。关于属性的离散化,主要介绍了等频、等间距、Nave Scale算法、Semi Naive Scaler算法,并通过UCI数据集对几种离散化算法做了比较,我们并且发现,选取不同的算法,会导致后面约简结果产生很大差异。基于粗糙集理论的属性约简算法粗糙集中最核心的部分,文章主要讨论的约简算法包括:基于差别矩阵和逻辑运算的属性约简算法、改进的启发式属性约简算法、遗传算法、这些算法本身有着各自的特点。数据挖掘是近年来随着数据库技术和人工智能技术的发展而出现的一种新的信息技术,它融合了数据库、人工智能、机器学习以及统计学等多种学科。Web挖掘将数据挖掘技术应用于大规模Web数据,能够发现有关用户浏览行为的隐藏模式规则,具有广阔的应用前景。Web挖掘可分为三种:Web使用挖掘、Web内容挖掘、Web结构挖掘。本文的研究重点在于Web使用挖掘(也称为Web日志挖掘)。日志挖掘是指通过挖掘Web日志记录来发现用户访问Web页面的模式,理解用户的行为,从而改进站点的结构,为用户提供个性化的服务,进一步分析和研究Web日志记录中的规律,改进Web站点服务器系统的性能。Web使用记录的挖掘日志:包括访问日志、引用日志、代理日志,错误日志等文件。Web日志挖掘包括三个阶段:数据预处理,模式发现,模式分析。所含的方法有:统计分析方法、关联规则方法、序列模式方法、聚类方法。日志预处理是Web日志挖掘过程中关键的一个部分。是对原始的日志文件中包含的不完整的、冗余的、错误的数据进行处理。当用户访问网络时,用户的所有信息将被保留在服务器中。由于Cookis、防火墙、和代理服务的存在,使数据的预处理更加的复杂。因此,数据预处理包括数据清洗、用户识别、会话识别、事物识别。在最后一章,我们详细的介绍了将粗糙集运用到整个日志挖掘的过程。

论文目录

  • 摘要
  • ABSTRACT
  • 1 绪论
  • 1.1 论文的研究背景及选题意义
  • 1.2 国内外研究现状
  • 1.3 论文的研究内容和组织结构
  • 2 粗糙集基础理论
  • 2.1 集合
  • 2.1.1 信息系统
  • 2.1.2 不可辨识关系
  • 2.1.3 上近似和下近似
  • 2.1.4 粗糙集的数字特性
  • 2.1.5 属性的约简、核
  • 2.1.6 决策规则
  • 2.2 小结
  • 3 信息系统属性的离散
  • 3.1 概述
  • 3.2 算法分析
  • 3.2.1 等频、等距离散化方法
  • 3.2.2 Slowinski R 方法与Hu X.H.方法
  • 3.2.3 NativeScaler 和Semi NativeScaler
  • 3.3 改进的复合离散化算法
  • 3.3.1 复合离散化算法算法思想
  • 3.3.2 复合离散化算法理论基础
  • 3.3.3 算法步骤
  • 3.4 实验结果分析
  • 3.5 小结
  • 4 约简算法研究
  • 4.1 概述
  • 4.2 算法分析
  • 4.2.1 典型算法
  • 4.2.2 基于区分矩阵算法
  • 4.2.3 基于频度的属性约简算法
  • 4.2.4 遗传算法
  • 4.3 启发式约简算法的改进
  • 4.3.1 启发式约简算法的思想
  • 4.3.2 基于属性重要性的启发式算法理论基础
  • 4.3.3 基于属性重要性的启发式具体算法
  • 4.3.4 基于信息熵的属性约简算法理论基础
  • 4.3.5 基于信息熵的属性约简具体算法
  • 4.4 小结
  • 5 基于粗糙集的WEB 日志挖掘
  • 5.1 WEB 挖掘基础
  • 5.2 日志挖掘
  • 5.2.1 数据预处理
  • 5.2.2 数据来源
  • 5.2.3 数据清洗
  • 5.2.4 用户识别
  • 5.2.5 会话识别
  • 5.2.6 事务识别
  • 5.3 模式发现
  • 5.4 模式分析
  • 5.5 小结
  • 6 WEB 日志挖掘程序实现
  • 6.1 设计流程
  • 6.2 日志数据处理
  • 6.3 挖掘格式转换及分析
  • 6.4 实验
  • 总结与展望
  • 致谢
  • 参考文献
  • 发表论文
  • 相关论文文献

    标签:;  ;  ;  ;  

    基于粗糙集的Web日志挖掘
    下载Doc文档

    猜你喜欢