稀有类分类算法在入侵检测中的应用

论文摘要

随着网络信息技术的迅速发展,网络数据信息的安全日益成为科技社会人们所必须要面对和解决的一个挑战性问题,入侵检测系统的研究和实现也随之成为计算机及其应用领域中的一个重要的研究课题,但是入侵检测的研究数据存在类分布不平衡的问题,用入侵检测的分类算法进行处理,并不能得到良好的分类效果。因此,需要引入新的分类策略和评估方法来解决类分布不平衡的数据集学习问题。数据挖掘是可以对大量数据进行自动高效分析处理的数据分析方法,它可以从大量数据中挖掘出隐含的规则、规律、模式等令人感兴趣的信息。而稀有类是数据挖掘中一个新兴的课题方向,它是指在海量的数据信息中,人们所感兴趣的信息在大量数据中占很少的比例,从大量数据中分辨出稀有目标,并分析它的规则和模式。因此入侵检测的研究数据集就可以作为稀有类来分析,可以采用稀有类特有的分类方法对它进行分析和处理,最终得到预测函数。采用稀有类分类的评估标准:精确率和召回率以及二者的均衡值F-value,来评价一个分类器的稀有类分类性能,被研究不平衡数据集学习问题的学者们广泛的使用。用于稀有类分类的技术策略包括调整数据类分布的抽样技术,两阶段方法,显露模式算法,代价敏感的学习方法以及集成分类技术等。在本文中采用了成本敏感的朴素贝叶斯算法,决策树算法,基于规则的分类算法与提出的集成分类算法进行分析和比较。其中朴素贝叶斯算法是基于类条件独立假设,具有简单且有效的特点。在类条件独立假设不成立的情况下,分类准确率仍与经典决策树算法J48相当,甚至更好。而且朴素贝叶斯算法在假设不成立时仍然有效,原因在于在分类问题中决定分类性能的是依赖关系的分布,而不是属性之间的依赖关系本身。所以,本文实验采用的集成分类算法就是用朴素贝叶斯来构造基分类器的。在本文中首先采用了SMOTE算法,对不平衡数据进行分析及其预处理,然后采用上面提到的分类算法对数据进行处理,并得到预测函数和ROC曲线。其中NBCBE算法是一个集成分类算法,源于稀有类分类中的集成分类技术,采用朴素贝叶斯算法构建基分类器,使用Boosting技术进行多轮相互独立学习,并且在学习过程中结合了代价敏感的学习方法。最后,采用了成本敏感的朴素贝斯算法,基于规则的分类算法,决策树算法和NBCBE算法在UCI学习库中的入侵检测数据集KDDCUP’99 DATA上进行了测试。实验结果表明,该集成算法与其他传统的分类算法相比较,以较少的计算开销取得对稀有类问题相对最优的分类结果,在处理实际的稀有类分类问题时体现出计算的高效性、学习的自适应性和分类的有效性之特点。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题的目的与意义
• 1.2 国内外研究动态
• 1.3 论文的主要工作
• 1.4 论文的内容框架
• 第二章 入侵检测概述
• 2.1 入侵检测概述
• 2.1.1 入侵检测系统
• 2.1.2 入侵检测工具
• 2.1.3 入侵检测系统的功能及主要特点
• 2.1.4 入侵检测技术
• 2.1.5 入侵检测系统目前的技术趋势
• 2.2 基于数据挖掘分类算法的入侵检测
• 2.2.1 决策树算法
• 2.2.2 KNN 算法
• 2.2.3 神经网络算法
• 2.2.4 SVM 算法
• 2.2.5 VSM 算法
• 2.2.6 Bayes 算法
• 第三章 稀有类
• 3.1 现有稀有类分类算法
• 3.1.1 分层技术
• 3.1.2 PNrule 算法
• 3.1.3 EPRC 算法
• 3.1.4 集成学习算法
• 3.1.5 代价敏感的学习方法
• 3.2 稀有类分类算法评估标准
• 第四章 基于稀有类的分类算法比较与分析
• 4.1 数据描述
• 4.2 数据预处理
• 4.3 实验分析
• 4.3.1 NBCE 算法
• 4.3.2 J48 算法
• 4.3.3 基于规则的分类算法
• 4.3.4 NBCBE 算法
• 4.4 小结
• 第五章 结束语
• 参考文献
• 致谢
• 攻读学位期间发表的学术论文目录