模糊聚类算法应用研究

论文摘要

聚类是数据挖掘的重要分支之一,引入模糊理论的模糊聚类分析为现实数据提供了模糊处理能力,在许多领域被广泛应用。在本文中,总结了模糊聚类的原则和通用的方法,讨论了常用的模糊聚类算法,讨论了这些算法的优缺点、存在的问题以及前景展望。 模糊C-均值聚类算法是目前广泛使用的模糊聚类算法。但它也存在一些缺点,例如模糊C-均值（FCM）聚类算法受初始化影响较大,在迭代时容易陷入局部极小。本文从引入隶属度函数、引入消息熵和类中心的约束出发,研究了模糊C-均值的改进方法。 在此基础上,提出了一种改进的模糊C-均值聚类算法。其基本思想是:通过对数据对象的模糊隶属度增加一个加权值,以及在算法中引入模糊聚类有效性函数对聚类数目c进行优选。为了证明改进FCM算法的实用性,我们将该算法应用于两个领域:网络入侵检测和Web日志挖掘。 入侵检测是网络安全的第二道防线。在本文中,分析了入侵检测技术的要点,提出了一种基于改进FCM算法的网络入侵检测方法。该方法的优点是不需要标示或训练数据集。文中使用KDD99数据集作为实验数据,实验结果显示该方法检测未知入侵检测是有效的,而且它提高了入侵检测系统的检测率和误警率。 最后,我们使用改进的模糊聚类算法来分析Web日志数据,以实现Web用户聚类,即根据用户的浏览行为,发现相似的用户组;以及Web页面聚类,即根据Web页面被用户访问的情况,发现相关页面组。实验证明,采用该改进的模糊聚类算法对Web日志挖掘效果良好。

论文目录

• 摘要
• Abstract
• 目录
• 第一章 绪论
• 1.1 研究背景
• 1.2 聚类与模糊理论的结合
• 1.3 本文研究的内容
• 1.4 本文的结构
• 第二章 聚类算法研究
• 2.1 常用聚类算法分类
• 2.1.1 划分的方法
• 2.1.2 层次的方法
• 2.1.3 基于密度的方法
• 2.1.4 基于网格的方法
• 2.1.5 基于模型的方法
• 2.2 模糊聚类算法
• 2.2.1 HCM算法
• 2.2.2 FCM算法
• 2.3 模糊聚类算法研究现状
• 2.3.1 模糊聚类目标函数的演化
• 2.3.1.1 对模糊划分矩阵U的研究
• 2.3.1.2 对相似性准则D（.）的研究
• 2.3.1.3 对聚类原型P的研究
• 2.3.1.4 对加权指数m的研究
• 2.3.1.5 对各种数据集X聚类的研究
• 2.3.2 模糊聚类算法实现途径的研究
• 2.3.2.1 基于交替优化的实现
• 2.3.2.2 基于神经网络的实现
• 2.3.2.3 基于进化计算的实现
• 2.3.3 模糊聚类有效性的研究
• 第三章 改进的FCM聚类算法
• 3.1 相关C-均值聚类算法研究
• 3.1.1 引入隶属度函数的权重指数
• 3.1.1.1 改变度量方法
• 3.1.1.2 改变隶属度约束条件
• 3.1.2 引入信息熵
• 3.1.3 类中心的约束
• 3.2 FCM算法有效性判别
• 3.2.1 对聚类类别数c的选择
• 3.2.2 对模糊加权指数m的选择
• 3.3 改进的FCM算法
• 3.3.1 降低孤立点的影响
• 3.3.2 对聚类数目c的优选
• 3.3.3 改进的FCM算法具体步骤
• 第四章 模糊聚类算法在入侵检测中的应用
• 4.1 入侵检测概述
• 4.1.1 入侵检测技术背景
• 4.1.2 通用入侵检测模型
• 4.1.3 入侵检测数据源
• 4.1.4 入侵检测与人工智能的结合
• 4.1.5 评估入侵检测系统的性能
• 4.2 聚类入侵检测方法
• 4.2.1 在入侵检测中使用聚类技术
• 4.2.2 入侵检测对于聚类方法的要求
• 4.3 具体实验分析
• 4.3.1 实验数据集
• 4.3.2 数据属性约简
• 4.3.3 数据预处理
• 4.3.4 改进的FCM聚类入侵检测算法
• 4.3.5 实验结果
• 第五章 模糊聚类算法在Web日志挖掘中的应用
• 5.1 Web数据挖掘概述
• 5.1.1 Web挖掘
• 5.1.2 Web日志挖掘
• 5.1.3 Web日志挖掘系统结构
• 5.2 具体实验分析
• 5.2.1 Web日志结构
• 5.2.2 数据预处理
• 5.2.2.1 数据清理
• 5.2.2.2 用户识别与会话识别
• 5.2.2.3 归并数据
• 5.2.3 用户聚类和页面聚类
• 5.2.3.1 用户聚类
• 5.2.3.2 页面聚类
• 5.2.4 实验结果
• 第六章 总结和展望
• 6.1 本文总结
• 6.2 今后研究工作展望
• 参考文献
• 致谢