基于聚类的数据流异常检测算法的研究

论文摘要

在海量的、动态变化的网络数据流中如何检测出异常,是网络安全领域主要关心的问题,同时也是检测网络攻击的主要手段,现在越来越受到学者的关注。在网络数据流方面一般认为正常的行为占大多数,而异常的行为属于个别行为。基于此假设,选择k-means算法对数据流进行聚类分析,最终不属于任何子簇的数据点最有可能是异常点。k-means算法的执行过程是首先确定k个初始聚类中心点,将新到来的数据对象点根据距离阀值与距离最近的子簇合并,最终完成具有k个子簇的聚类结果。本文针对k-means算法存在的缺点和不足,例如,对输入数据对象点输入顺序敏感、容易陷入局部最优而非全局最优等问题。从两个方面对原有算法进行改进:首先根据有效性函数最小性原理,确定接近于真实聚类数的k值,然后通过执行聚类中心选择算法,选取处于高密度区域的若干点,将点集周围数据点数量作为权值赋予该点,对选取的若干点集合构建最小堆,然后进行堆排序,权值作为堆节点的值,一次扫描确定密度最高的k个数据点作为初始聚类中心。改进后的k-means算法可以使准则函数收敛的更快,由于使用堆排序而非距离迭代计算选取聚类中心,时间复杂度相对较低,从而使算法在执行的时间效率上得到提高,又由于初始聚类中心点选择的接近于真实聚类中心,在聚类过程中不容易将大簇分割,从而使聚类结果更准确。最后选取UCI数据库中的数据集和KDD99数据集,对改进后算法和原算法进行聚类分析。实验结果表明,改进后的算法提高了聚类结果的准确性,同时算法的执行效率也有一定程度的提高。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 论文研究的背景
• 1.2 国内外研究现状
• 1.3 课题研究内容
• 1.4 本文组织结构
• 第2章 数据流及相关技术概述
• 2.1 数据流
• 2.1.1 数据流基本概念
• 2.1.2 传统数据与数据流的比较
• 2.1.3 数据流的特点
• 2.1.4 数据流的类型
• 2.2 数据流模型
• 2.2.1 滑动窗口模型
• 2.2.2 快照模型
• 2.2.3 界标模型
• 2.3 本章小结
• 第3章 数据流异常检测技术概述
• 3.1 数据流异常检测
• 3.1.1 数据流异常检测中的关键技术
• 3.1.2 数据流异常检测常用方法
• 3.2 聚类分析在数据流异常检测领域的应用
• 3.2.1 聚类分析概念
• 3.2.2 基于聚类的数据流异常检测实现
• 3.2.3 常用的聚类分析方法
• 3.3 本章小结
• 第4章 一种改进的基于聚类的k-means 算法
• 4.1 问题的提出
• 4.2 问题的分析
• 4.2.1 基于聚类的k-means 算法
• 4.2.2 k-means 算法存在的缺点和不足研究
• 4.3 一种改进的k-means 算法
• 4.3.1 k 值的选取
• 4.3.2 初始聚类中心点的确定
• 4.3.3 改进的k-means 算法描述
• 4.4 基于聚类的数据流异常检测模型
• 4.5 本章小结
• 第5章 实验与分析
• 5.1 实验运行环境及数据集
• 5.2 实验结果分析
• 5.3 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间发表的论文和取得的科研成果
• 致谢