基于机器学习的入侵检测系统的研究与实现

论文摘要

统计学习理论是在有限样本情况下新建立起来的统计学理论体系。统计学习为人们系统地研究小样本情况下机器学习问题提供了有力的理论基础。支持向量机(Support Vector Machine,SVM)是在该理论体系下产生的一种新的、非常有力的机器学习方法。它较好地解决了以往很多学习方法的小样本、非线性、过学习、高维数、局部极小点等实际问题,具有很强的推广能力。作为SVM方法的一个分支,最小二乘支持向量机(Least Squares Support Vector Machine,LSSVM)继承了SVM在理论与应用方面的许多研究成果。相对于SVM,LSSVM所具有的一些特性可以概括为:求解线性方程组,具有更快的求解速度,求解所需的计算资源较少,其解满足极值条件。本文首先阐述了论文研究背景和意义,介绍入侵检测的模型、分类,比较了应用于入侵检测的不同方法的优缺点。然后介绍了统计学习理论,支持向量机和最小二乘支持向量机的相关理论,提出了基于最小二乘支持向量机的网络入侵检测系统模型,并对模型的各个组件的功能、机制,实现进行了深入的探讨。对用于入侵检测的网络数据特征,本文利用异构数据集上的距离度量函数(Heterogeneous Value Difference Metric,HVDM)进行特征数据的预处理,针对LSSVM丧失鲁棒性的缺点,使用加权的方法增强其鲁棒性,由于计算经验风险的损失函数为二次函数形式,LSSVM丧失了标准支持向量机的稀疏性,导致了其训练完毕后,用于分类时的效率降低的特点,为使LSSVM具有稀疏性,本文从统计分析的角度出发,应用主成分分析的方法,对样本集进行特征提取,消除变量间的相关性,选取训练样本中分类作用最大的若干样本个体作为支持向量,并将非支持向量上的分类信息转移至支持向量上,从而改善模型的预测精度和泛化能力,提出了新的LSSVM稀疏化算法—基于主成分分析的最小二乘支持向量机算法,在模拟实验中,选取径向基核函数,将训练数据从低维空间映射到高维空间中,使数据在高维空间中能够线性可分,并采用三步搜索法进行参数的选择,使用贯序最小优化算法(Sequential Minimal Optimization,SMO)对样本集进行训练,实验结果表明,由此构建的稀疏LSSVM分类器保持了支持向量机的良好分类性能,而稀疏率相对高,其支持向量数甚至少于标准支持向量机,明显提高了LSSVM的分类效率和实时性。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 入侵检测系统的必要性
• 1.2 研究现状及存在的问题
• 1.3 课题研究背景及内容安排
• 1.4 本文的章节安排
• 第二章入侵检测技术与网络攻击分析
• 2.1 入侵检测概述
• 2.1.1 入侵检测发展历史
• 2.1.2 入侵检测的模型
• 2.2 入侵检测的分类
• 2.2.1 根据数据源分类
• 2.2.2 根据分析引擎分类
• 2.3 入侵检测方法现状分析
• 2.4 网络攻击分析
• 2.4.1 攻击过程的一般性描述
• 2.4.2 网络攻击方法
• 2.4.3 网络攻击的发展趋势
• 第三章 统计学习理论与最小二乘支持向量机
• 3.1 统计学习理论
• 3.1.1 学习问题的表示
• 3.1.2 经验风险最小化原则（ERM）
• 3.1.3 ＶＣ维
• 3.1.4 推广性的界
• 3.1.5 结构风险最小化原则（SRM）
• 3.2 支持向量机
• 3.2.1 广义最优分类面
• 3.2.2 支持向量机
• 3.3 最小二乘支持向量机
• 3.3.1 LS-SVM 的基本原理
• 3.3.2 贯序最小优化算法对海量样本的训练
• 3.3.2.1 贯序最小优化算法的基本原理
• 3.3.2.2 两个Lagrange 乘子的优化问题
• 3.3.2.3 如何选择两个要优化的拉格朗日乘子
• 3.3.2.4 计算阈值b
• 3.3.3 稀疏LS-SVM 算法
• 3.3.4 鲁棒性的LS-SVM
• 3.3.5 交叉确认法确定LS-SVM 的参数
• 第四章 系统框架设计与实现
• 4.1 框架设计
• 4.2 网络数据采集模块
• 4.3 网络数据预处理
• 4.3.1 数据格式转换
• 4.3.2 异构数据集上的距离度量函数HVDM
• 4.3.3 预处理流程
• 4.4 改进的最小二乘支持向量机分类器设计
• 4.4.1 奇异值分解（SVD）
• 4.4.2 主成分分析理论的简介
• 4.4.3 主成分分析法的计算方法
• 4.4.4 基于统计分析的LSSVM 稀疏化算法基本思想
• 4.4.5 样本个体的分类重要性
• 4.4.6 非支持向量的信息转移
• 4.4.7 PCA-LSSVM 稀疏化算法
• 4.4.8 分类器的设计
• 4.4.9 决策响应模块
• 4.4.9.1 响应策略定义
• 4.4.9.2 基于策略的主动响应
• 4.4.9.3 恢复响应
• 第五章 实验及数据分析
• 5.1 实验数据准备
• 5.1.1 训练数据的选取
• 5.1.2 训练数据及测试数据的构成
• 5.2 核函数的确定和参数的选择
• 5.2.1 核函数的确定
• 5.2.2 三步搜索法进行参数的选择
• 5.3 实验结果及分析
• 第六章 结论与展望
• 6.1 本论文的主要工作
• 6.2 下一步的工作展望
• 参考文献
• 致谢
• 在学习期间的学术成果和发表论文