基于动态网格的数据流聚类算法及其应用研究

论文摘要

近来,随着计算机通信技术和传感器网络技术的飞速发展,人们遇到大量无法用数据库进行存储的数据,这些数据是高速的、连续的、动态的、变化的、无限的,对它们的访问只能是顺序的、一次或有限次的,对它们的存储也只能是动态的、概要的。为了有效处理这些数据,人们提出了数据流模型。数据流模型已经引起了人们极大的关注。作为传统聚类方法在数据流环境下的延伸,数据流聚类方法已成为数据流模型研究的重点方向之一。本文通过对传统数据聚类方法和已有的数据流聚类方法进行研究分析,发现基于密度的方法可以发现任意形状的类,但其运算时间复杂度比较大并且不适合于发现分布情况不同的类。而基于网格的方法具有较高的运算速度,但牺牲了聚类的质量。因此,在研究和改进上述两类算法的基础上,结合数据流的特点,本文提出了一个基于动态网格的数据流聚类算法,主要对网格密度计算方式、参数的自适应设置和聚类顺序等进行了改进和创新,并通过实验数据和真实数据验证了算法的正确性和有效性。将数据流聚类分析方法用于网络异常检测是一个有趣的尝试。网络在给人们带来巨大方便的同时,也会给人们带来巨大的不便,层出不穷的入侵技术和手段经常会给网络带来毁灭性的灾难,而传统的异常入侵检测技术在扩展性和适应性上已不能应付越来越复杂的攻击方式,因此许多其他领域的知识被引入。最近,聚类分析方法由于能够发现未知的模式、自动实时更新异常入侵检测规则库而得到了高度重视。本文在Snort系统基础上构建了一个基于聚类分析方法的异常检测系统,最后通过实验证明该系统用于网络异常检测是有效的。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题研究的背景
• 1.2 课题研究的应用价值
• 1.3 课题研究内容与思路
• 1.4 论文的组织结构
• 第二章 数据流和数据流聚类算法
• 2.1 数据流概述
• 2.1.1 数据流定义和特点
• 2.1.2 数据挖掘到数据流挖掘
• 2.1.3 数据流挖掘基本技术
• 2.2 传统的聚类算法
• 2.2.1 基于划分的方法（Partitioning-based Methods）
• 2.2.2 基于层次的方法（Hierarchical-based Methods）
• 2.2.3 基于模型的方法（Model-based Methods）
• 2.2.4 基于密度的方法（Density-based Methods）
• 2.2.5 基于网格的方法（Grid-based Methods）
• 2.3 数据流聚类算法
• 2.3.1 数据流聚类的要求
• 2.3.2 经典数据流聚类算法
• 2.4 本章小结
• 第三章 基于动态网格的数据流聚类算法
• 3.1 算法背景
• 3.2 基于动态网格的数据流聚类算法
• 3.2.1 基本概念
• 3.2.2 算法描述
• 3.3 实验分析
• 3.3.1 实验设置
• 3.3.2 算法性能分析
• 3.4 本章小结
• 第四章 DGCDS算法在通信网络异常检测上的应用
• 4.1 网络异常
• 4.2 网络异常检测的应用需求
• 4.3 网络流量异常检测方法
• 4.3.1 异常检测的关键技术
• 4.3.2 常见的几种异常检测方法
• 4.3.3 基于数据流挖掘技术的异常检测方法
• 4.4 DGCDS算法用于通信网络异常检测
• 4.4.1 异常检测系统框架
• 4.4.2 Dgcds-Snort系统框架中的学习过程
• 4.4.3 实验结果
• 4.5 本章小结
• 第五章 结论及进一步工作
• 5.1 全文总结
• 5.2 进一步工作
• 致谢
• 参考文献
• 作者在学习期间取得的学术成果