基于聚类分析的入侵检测方法研究

论文摘要

随着网络技术的飞速发展和网络应用范围的不断扩大,对网络的各类攻击与破坏与日俱增。在网络安全问题日益突出的今天,如何迅速有效地发现各种入侵行为,对于保证系统和网络资源的安全显得十分重要。入侵检测系统是一种积极主动的安全防护技术,它是信息安全保护体系结构中的一个重要组成部分。由于网络工作环节层次多,入侵模式不断变化,有大量研究计划将数据挖掘技术运用到入侵检测中。然而,面对网络环境中各类攻击与破坏的与日俱增,以及产生的海量数据,人们需要一个良好的检测方法,使其对各种攻击行为都有较高的检测率和较低的误检率,并且对海量的、高维的、混合型的复杂数据做出有效分析。本文主要探讨数据挖掘的聚类分析及相关技术在入侵检测中的应用。传统的异常检测方法需要从大量纯净的正常数据集中获得检测模型,而在现实网络环境中,很难保证在数据采集阶段没有入侵的发生,也很难对采集的数据进行标识,这就使其应用受到很大的限制。本文尝试在未标记的、混杂了少量入侵数据的正常网络审计数据源上,采用聚类分析及相关技术,尽可能准确的将训练数据集中少量的入侵数据从大量正常数据中分离开来,并给出使用该模型进行入侵检测的方法。文章针对网络数据流海量、高维等特征,将聚类分析与异常挖掘的思想结合起来,采用改进的K-Prototypes算法解决K-Means聚类算法不能处理混合型数据的缺点,以提高聚类准确度。本文用基于K-Prototypes的算法对数据进行聚类,得到聚类结果。标记得到的聚类结果,得出划分。但是该划分只是一个粗略的划分,为了优化聚类结果,文章采用孤立点检测技术。聚类和孤立点检测是两个相辅相成的方面,聚类在某种程度上可能是个粗糙的划分,在聚类的过程中和聚类之后要决定如何处理孤立点的问题对于优化聚类结果很重要。本文提出了基于局部偏差系数的孤立点检测算法。结果表明,基于局部偏差系数的孤立点检测算法优化了聚类结果,提高了检测率。本文使用KDD CUP99数据集对检测模型进行了性能测试,实验结果表明,改进的K-Prototypes算法能较好地处理海量、高维、混合型数据。对聚类结果的孤立点检测提高了检测模型的性能,优化了聚类结果。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 课题背景
• 1.2 当前主要的网络安全技术与安全产品
• 1.3 入侵检测研究概况
• 1.3.1 入侵检测系统概述
• 1.3.2 入侵检测的诞生和发展
• 1.3.3 入侵检测系统原理
• 1.3.4 入侵检测系统的分类
• 1.3.5 国内外主要入侵检测产品
• 1.4 数据挖掘技术在入侵检测中的应用
• 1.5 面向入侵检测的传统数据挖掘的缺陷
• 1.6 本文的工作
• 第二章 入侵检测与数据挖掘
• 2.1 入侵检测的基本概念
• 2.2 入侵检测技术方法
• 2.2.1 按数据源采集的不同位置分类
• 2.2.2 按检测方法分类
• 2.3 目前入侵检测中存在的问题
• 2.4 入侵检测未来的发展方向
• 2.5 数据挖掘的概念
• 2.6 数据挖掘系统体系结构
• 2.7 常用的数据挖掘方法
• 2.8 基于数据挖掘的入侵检测系统的特点
• 2.9 本章小结
• 第三章 聚类分析
• 3.1 聚类分析及应用
• 3.2 聚类分析中的数据类型
• 3.2.1 聚类分析中的数据对象和相异度
• 3.2.2 聚类分析中数据对象的数据类型
• 3.3 相似度（或距离）
• 3.4 聚类方法的分类
• 3.4.1 数字类型聚类
• 3.4.2 混合类型聚类
• 3.5 聚类的过程
• 3.6 K-Prototypes 算法
• 3.6.1 K-Means 算法
• 3.6.2 K-Modes 算法
• 3.6.3 K-Prototypes 算法
• 3.7 改进的K-Prototypes 算法
• 3.8 孤立点分析
• 3.9 本章小结
• 第四章 基于聚类入侵检测K-Prototypes 算法的实现和改进
• 4.1 基本思想
• 4.2 网络入侵检测对聚类算法的要求
• 4.3 网络数据收集原理
• 4.4 数据收集方法
• 4.5 数据预处理方法
• 4.6 原始Tcpdump 数据合成连接记录
• 4.7 构造链接记录的扩展特征
• 4.8 检测方法描述
• 4.8.1 用K-Prototypes 算法聚类
• 4.8.2 用改进后的K-Prototypes 算法聚类
• 4.8.3 标记类
• 4.8.4 从“可疑类”中检测出异常记录的算法
• 4.8.5 提取类特征形成检测模型
• 4.8.6 利用检测模型检测入侵
• 4.9 模型评估
• 4.10 本章小结
• 第五章 检测实验及实验结果分析
• 5.1 实验数据描述
• 5.2 数据过滤与准备
• 5.3 实验结果
• 5.3.1 对比K-Prototypes 算法和改进的K-Prototypes 算法
• 5.3.2 K-Means 算法和K-Prototypes 算法及改进算法的对比
• 5.4 加入孤立点检测算法后的检测结果
• 5.4.1 ε的估计
• 5.4.2 对单独攻击加入孤立点检测算法
• 5.4.3 对混合攻击加入孤立点检测算法
• 5.5 检测率与误检率关系
• 5.6 本章小结
• 第六章 总结与展望
• 6.1 内容总结
• 6.2 未来展望
• 致谢
• 参考文献
• 附录：作者在攻读硕士学位期间发表的论文