基于数据挖掘技术降低入侵检测系统误报率的研究

论文摘要

在允许各种网络资源以开放方式运作的前提下,入侵检测成了确保网络安全的一种必要手段。然而,由于网络组件之间相关性太强,一个组件的错误会导致很多与其相连的组件报错,从而触发大量警报。Klausdulisch列举了常见的几种网络错误并进行了具体分析,发现这些错误会导致99%以上的警报,而这些警报不是真正意义上的入侵。由于真正的攻击隐藏在大量误警中,导致很难识别真正的攻击行为,利用人工处理这些海量的警报是不现实的。因此,我们的思想是以系统中触发过的历史警报为研究对象,通过对历史警报的学习,找出误报的特点,推导出过滤规则,以指导对未来警报的触发,实现自动减少误报。对于与过滤规则匹配的警报,我们有理由怀疑这又将是一次“错误”的报警,因此选择“丢弃”即不触发该类警报。这样,可以大大减少警报负荷,降低系统误报率。 以数据为中心的观点看,处理入侵警报本身就是一个数据分析过程。在许多相关的领域,数据挖掘已经取得了成功的应用。于是,如何利用数据挖掘技术实现对历史警报数据的高效挖掘,获得过滤规则,以指导未来警报的触发成为研究热点。 本文通过对应用于入侵检测的多种数据挖掘技术的研究,提出一种基于频繁模式树的AOI聚类算法。该算法能有效降低系统误报率,并且它还针对KM-AOI算法存在无效概化、抗噪声能力差及规则不精确等缺点进行了改进。将频繁模式树的构造思想引入KM-AOI算法,有效减少了概化次数,避免了无效概化和数据回滚,获得更精确的规则,并实现了一定的“抗噪声”功能。 在工作过程中,选择频繁度最大的属性作为概化对象,并根据概化取值不同,实现警报数据的逐步分组,并以产生频繁模式树的子结点的形式储存分组结果,对子结点中的数据递归上述过程。最终,挖掘结果存储于频繁模式树的叶结点中。频繁模式树的应用,保证了仅对“必须”的数据进行概化,避免了无效概化,从而达到了提高聚类效率的目的;而且,保证了不再对已频繁属性值进行任何概化操作,从本质上杜绝了“过概化”的发生,得到更精确的挖掘结果。 为了避免噪声数据的干扰,对分组中的警报,首先判断其是否符合“最小值”要求,再确定是否对其进一步概化。这防止了对噪声数据的“过度概

论文目录

• 摘要
• ABSTRACT
• 1 引言
• 1.1 课题的研究现状
• 1.2 论文选题的意义
• 1.3 主要研究内容及创新点
• 1.4 论文的组织结构
• 2 入侵检测研究
• 2.1 入侵检测的模型建立方法
• 2.2 入侵检测技术分类
• 2.3 入侵检测系统
• 2.3.1 入侵检测系统结构图
• 2.3.2 基于主机的入侵检测系统
• 2.3.3 基于网络的入侵检测系统
• 2.3.4 入侵检测系统的现状与不足
• 3 数据挖掘技术
• 3.1 聚类
• 3.1.1 概念聚类
• 3.1.2 面向属性归纳
• 3.1.3 AOI用作概念聚类
• 3.2 关联规则
• 3.2.1 关联规则描述
• 3.2.2 频繁模式树
• 3.2.3 频繁模式树构造算法
• 4 KM对AOI的三点改进
• 4.1 最小值法
• 4.2 启发式搜索法
• 4.3 回溯法
• 5 KM-AOI算法与基于频繁模式树的AOI算法
• 5.1 KM-AOI算法
• 5.1.1 相关定义
• 5.1.2 算法描述
• 5.1.3 算法性能分析
• 5.1.4 实例分析
• 5.2 基于频繁模式树的AOI算法
• 5.2.1 相关定义
• 5.2.2 算法描述
• 5.2.3 算法性能分析
• 5.2.4 实例分析及对比
• 5.3 实验数据分析
• 5.3.1 数据收集
• 5.3.2 属性移除
• 5.3.3 概化层次图
• 5.3.4 概化
• 6 结束语
• 参考文献
• 致谢
• 攻读硕士期间发表的学术论文目录