基于数据挖掘的自适应异常检测研究

论文摘要

随着网络应用领域日益广泛,网络攻击手段不断向多元化、复杂化、智能化方向发展,使得单纯依赖防火墙等静态防御技术已经难以满足保障网络安全的需要。入侵检测作为一种主动的信息安全保障技术,能够弥补传统安全防护技术的缺陷,应对网络流量增长、攻击模式进化带来的安全挑战。各类入侵检测技术中对变化网络环境具有自适应性的入侵检测系统成为当前入侵检测研究的热点,本文针对这一热点问题进行了以下研究:1.分析和总结了现有入侵检测系统技术特点,特别是结合数据万挖掘技术的异常检测系统的研究现状及存在的问题。2.提出了一种新的基于数据挖掘技术的自适应入侵检测模型AADDM。在AADDM模型中包含训练数据集合生成、有用特征选取、自适应异常检测、检测模型升级和攻击特征本体构建5个组成部分。3.提出了一种基于自顶向下密度聚类的训练数据集生成算法。首先,给出了一种基于域密度属性的数据相似性描述方法。根据域间密度差异划分概念,定义了多维索引结构中形式化表示的簇。其次,在簇生成过程中,采用基于分支定界理念的密度剪枝（DP）算法剪除无搜索价值区域,提高聚类效率。最后,通过在仿真数据集合上与BIRCH算法比较实验和形式化证明验证算法的高效性和正确性。4.提出了一种结合遗传算法和SVM理论的特征选取算法。该算法利用遗传算法对样本空间空间进行随机搜索,并利用One-class SVM的分类正确率评估搜索结果,获取最优特征子集。论文在KDD1999数据集上进行算法测试,验证算法有效性。5.研究了一种基于增量密度聚类的自适应异常检测算法ADDBIC。算法在目标数据集每一特征列上根据特征值的密度信息聚类。一旦有新簇生成,其所有特征值属性被抽象为一个正常轮廓,每个轮廓由一个内部概要和一个外部概要构成。所有特征列上的正常轮廓集合构成ADDBIC算法的检测模型。实时网络连接记录产生后,将立即通过检测模块与检测模型比较,如果二者差异超过预设的“红色”异常级别,则指示有入侵发生,算法将立即向管理员报警;如果比较结果为正常,这条记录的每项有用数据都将通过插入操作被插入到已存在簇中,相应的检测轮廓也随之更新。6.提出了一种基于增量式密度聚类分析的入侵检测本体描述方法,细化聚类算法结果并获取关于入侵攻击的详细属性描述、抽取领域概念、描述概念间的关系,以本体语言OWL描述入侵检测领域知识。简要介绍了Mitnick和Buffer Overflow攻击的本体实例化描述过程。在入侵检测过程中,利用本体描述所有的攻击实例信息,发现相关实例攻击间的联系,描述整个攻击过程。

论文目录

• 内容提要
• 第1章 绪论
• 1.1 研究背景
• 1.2 研究意义
• 1.2.1 入侵攻击的发展变化
• 1.2.2 现有入侵检测技术缺陷
• 1.2.3 入侵检测技术发展趋势
• 1.2.4 现有基于数据挖掘的入侵检测系统的缺陷
• 1.3 入侵检测研究现状
• 1.3.1 入侵检测技术发展历程
• 1.3.2 数据挖掘研究现状
• 1.4 本文工作及组织结构
• 第2章 基于数据挖掘的自适应性入侵检测系统模型设计
• 2.1 入侵检测基本原理
• 2.1.1 入侵检测系统定义及模型
• 2.1.2 入侵检测系统分类
• 2.2 基于数据挖掘的入侵检测
• 2.2.1 数据挖掘概述
• 2.2.2 数据挖掘应用于入侵检测的可能性
• 2.2.3 建立基于数据挖掘的入侵检测模型
• 2.3 基于数据挖掘技术的自适应异常检测模型设计
• 2.3.1 设计原则
• 2.3.2 AADDM模型结构
• 2.4 本章小结
• 第3章 基于自顶向下密度聚类的训练样本生成算法
• 3.1 簇定义
• 3.2 自顶向下的密度聚类算法
• 3.2.1 聚集体知识的特点
• 3.2.2 密度剪枝聚类算法
• 3.3 仿真实验及算法评价
• 3.3.1 仿真数据集
• 3.3.2 聚类效率分析
• 3.4 本章小结
• 第4章 基于GA-SVM的特征选择算法
• 4.1 统计学习理论
• 4.2 支持向量机理论基础
• 4.2.1 最优分类超平面
• 4.2.2 广义最优分类超平面
• 4.2.3 支持向量机定义
• 4.2.4 One-class SVM相关定义
• 4.3 GA-SVM特征选择算法
• 4.4 实验结果
• 4.4.1 实验数据分析
• 4.4.2 特征过滤结果
• 4.5 本章小结
• 第5章 ADDBIC：一种基于增量密度聚类的自适应异常检测算法
• 5.1 研究动机
• 5.2 相关研究
• 5.3 ADDBIC算法框架
• 5.4 相关定义
• 5.5 初始聚类
• 5.6 检测模型升级算法
• 5.7 异常检测
• 5.8 实验结果及讨论
• 5.8.1 参数测定
• 5.8.2 检测效果比较与讨论
• 5.8.3 检测效率比较
• 5.9 本章小结
• 第6章 基于本体描述的入侵检测
• 6.1 知识表示
• 6.1.1 专家系统知识表示方法
• 6.1.2 语义Web知识表示方法
• 6.2 本体的形式化定义、分类与描述语言
• 6.2.1 本体的形式化定义与分类
• 6.2.2 本体描述语言
• 6.3 基于本体描述的入侵检测系统
• 6.3.1 攻击描述语言
• 6.3.2 入侵检测本体构建
• 6.4 本章小结
• 第7章 结论与展望
• 附录（网络攻击本体描述）
• 参考文献
• 攻读博士学位期间发表的论文及参加的项目
• 致谢
• 摘要
• Abstract