基于数据挖掘的分布式网络入侵协同检测系统研究及实现

论文摘要

随着网络入侵形式的不断变化与多样性,传统的网络安全技术与设备已不能充分抵御网络攻击。例如,目前推出的商用分布式入侵检测系统基本是采用基于已知入侵行为规则的匹配技术,检测引擎分布在需要监控的网络中或主机上,独立进行入侵检测,入侵检测系统中心管理控制平台仅负责平台配置、检测引擎管理和各检测引擎的检测结果显示,对各检测引擎的检测数据缺乏协同分析。同时网络入侵检测系统与防火墙、防病毒软件等之间也是单兵作战,对复杂的攻击行为难以做出正确的判断。异常入侵检测技术根据使用者的行为或资源使用情况判断是否存在入侵行为,通用性较强,缺陷是误检率太高。误用检测运用已知攻击方法,根据已定义好的入侵模式,通过判断这些入侵模式是否出现来检测攻击,检测准确度高,但系统依赖性太强,检测范围受已知知识的局限。将数据挖掘技术应用到入侵检测系统是目前入侵检测研究的重要方向,论文讨论了基于数据挖掘的入侵检测主体技术,指出了联合使用几种数据挖掘方法和将数据挖掘与传统的误用检测、异常检测协是一个重要的研究方向。论文提出了改进的FP-Growth的关联分析算法、基于分箱统计的FCM网络入侵检测技术和基于免疫学原理的混合入侵检测技术。改进的FP-Growth算法引入了聚合链的单链表结构,每个节点只保留指向父节点的指针,节省了树空间,有效解决了数据挖掘速度问题,提高了入侵检测系统的执行效率和规则库的准确度;基于分箱统计的FCM网络入侵检测技术不需要频繁更新聚类中心,同时耗时问题也得到较好的改善,将特征匹配与基于分箱的FCM算法相结合,能较好的发现新的攻击类型,便于检测知识库的更新;基于免疫学原理的混合入侵检测技术充分发挥了免疫系统在实现过程中表现出的识别、学习、记忆、多样性、自适应、容错及分布式检测等复杂的信息处理能力,具有良好的应用前景。论文分析了网络入侵检测技术在检测性能、系统的健壮性与自适应性等方面存在的主要问题,讨论了网络入侵检测技术的发展趋势。针对目前商用入侵检测系统协同分析几乎空缺、规则更新滞后、检测技术与入侵手段变化不适应的现状,提出了基于数据挖掘的分布式网络入侵协同检测系统（以下简称“协同检测系统”）模型。该模型从数据采集协同、数据分析协同和系统响应协同三个方面实现了入侵检测系统的结构协作、功能协作、动作协作和处理协作,有效增强了入侵检测系统的检测能力。论文详细讨论了“协同检测系统”的检测引擎设计、通信模块设计和系统协同设计。检测引擎是系统的主体,涉及到网络数据包捕获、数据解析、入侵检测等功能。针对高速网络环境下信息量大、实时性要求高,使用Libpcap捕包易造成掉包与瘫痪的现状,提出了内存映射与半轮询（NAPI）捕包新技术,有效减少了系统内核向用户空间的内存拷贝,避免了重负载情况下的中断活锁,确保了高速网络环境下数据包采集的实时性与准确性。数据解协首先对链路层包头、IP层包头、传输层包头、应用层协议四部分进行解析,然后对数据作预处理。在此基础上,运用改进的FP-Growth算法对网络数据进行挖掘,检测子模块解释并评估数据挖掘模块提取的模式,结果送至反馈端口。通信模块实现了数据采集解析器与数据挖掘检测器之间、检测引擎和报警优化器之间、报警优化器与中心控制平台之间的有效通信,给出有关函数。系统协同设计是本系统的特色。本文从入侵检测系统内部数据采集协同、入侵检测系统与漏洞扫描系统协同、入侵检测系统与防病毒系统协同、检测引擎分析协同、不同安全系统分析协同、IDS与防病毒系统协同、IDS与交换机协同、IDS与防火墙协同等方面,科学地给出了数据采集协同、数据分析协同、系统响应协同的含义、原理、方法与实现过程。系统离线实验和仿真实验表明:综合运用本文提出的三种算法可以有效地提高检测效率,降低误报率和漏报率。本文开发的“协同检测系统”可以稳定地工作在以太网络环境下,能够及时发现入侵行为,及时正确记录攻击的详细信息,具备了良好的网络入侵检测性能。

论文目录

• 摘要
• Abstract
• 目录
• 图清单
• 表清单
• 1 绪论
• 1.1 网络入侵检测技术面临的主要问题
• 1.2 本文的研究背景及意义
• 1.3 论文的研究内容及组织结构
• 1.4 本章小结
• 2 入侵检测系统概述
• 2.1 网络入侵检测技术
• 2.1.1 异常检测技术
• 2.1.2 误用检测技术
• 2.1.3 基于数据挖掘的入侵检测技术
• 2.2 入侵检测系统功能
• 2.3 入侵检测系统的基本结构
• 2.4 入侵检测系统的分类
• 2.4.1 根据信息源分类
• 2.4.2 根据数据分析方法分类
• 2.4.3 根据体系结构分类
• 2.4.4 根据响应方式分类
• 2.5 本章小结
• 3 分布式入侵检测系统
• 3.1 分布式入侵检测系统的产生
• 3.2 分布式入侵检测系统的优势
• 3.3 分布式入侵检测系统模型
• 3.3.1 基于攻击策略分析的分布式入侵检测系统模型
• 3.3.2 基于Agent的分布式入侵检测系统模型
• 3.3.3 基于控制中心的分布式入侵检测系统模型
• 3.3.4 基于移动代理的分布式入侵检测系统模型
• 3.3.5 基于多Agent的层次协同入侵检测模型
• 3.4 本章小结
• 4 数据挖掘技术
• 4.1 数据挖掘概述
• 4.1.1 数据挖掘的定义
• 4.1.2 数据挖掘过程
• 4.2 数据挖掘算法
• 4.2.1 关联分析算法
• 4.2.2 数据分类算法
• 4.2.3 聚类分析算法
• 4.2.4 序列模式分析算法
• 4.3 本章小结
• 5 基于数据挖掘的分布式网络入侵协同检测系统设计
• 5.1 系统总体结构设计
• 5.1.1 系统设计目标
• 5.1.2 系统结构模型
• 5.2 系统检测引擎的设计
• 5.2.1 网络数据包截获技术
• 5.2.2 数据采集模块
• 5.2.3 内存映射与半轮询（NAPI）捕包技术
• 5.2.4 数据解析模块
• 5.2.5 数据预处理模块
• 5.2.6 基于改进的FP-Growth算法的数据挖掘模块
• 5.2.7 检测模块
• 5.2.8 基于分箱统计的FCM网络入侵检测技术
• 5.2.9 基于免疫学原理的混合入侵检测检测技术
• 5.3 系统其他组件设计
• 5.3.1 报警优化器
• 5.3.2 日志记录器
• 5.3.3 中心控制平台
• 5.3.4 特征规则库
• 5.4 系统模块间的通信
• 5.5 入侵检测系统中的协同设计
• 5.5.1 数据采集协同
• 5.5.2 数据分析协同
• 5.5.3 系统响应协同
• 5.6 本章小结
• 6 系统实验分析与业务应用
• 6.1 离线实验
• 6.1.1 实验环境
• 6.1.2 实验数据集
• 6.1.3 实验结果及分析
• 6.2 网络仿真实验
• 6.2.1 实验环境
• 6.2.2 端口扫描攻击实验
• 6.2.3 拒绝服务攻击（DoS）实验
• 6.2.4 网络仿真实验实验结果及评价
• 6.3 业务试用
• 6.4 本章小结
• 7 总结与展望
• 7.1 总结
• 7.2 展望
• 致谢
• 参考文献
• 附录 A 攻读博士学位期间发表的论文情况
• 附录 B 攻读博士学位期间参加的科学研究情况
• 附录 C 攻读博士学位期间取得软件著作权情况