基于网络的攻击特征自动提取技术研究

论文摘要

基于特征的入侵检测是当前最行之有效且应用最为广泛的一种攻击检测技术。但是,目前攻击特征主要依靠安全专家以事后分析的方式来提取,缺点是过程长、速度慢,往往是新攻击出现几天甚至几周后相应的特征才被发布。这与当前新攻击层出不穷、蠕虫传播极快破坏极大、攻击变形技术不断发展和完善的安全现状不相适应。为了能够快速准确地提取新攻击的特征,攻击特征自动提取技术应运而生。根据发现攻击的位置不同,攻击特征自动提取可以分为基于网络的攻击特征自动提取（NSG）和基于主机的攻击特征自动提取（HSG）两大类。NSG系统一般部署在网络上,通过分析网络上的可疑数据来提取字符型的特征。HSG系统一般部署在主机上,检测主机的异常并利用在主机上采集的信息来提取攻击特征。本文对NSG技术及其应用开展了系统的研究,特别是对以变形蠕虫为代表的变形攻击的特征提取问题进行了深入的研究。本文的创造性研究成果主要有:（1）提出SRE特征以及NSG的问题模型。作为一种新的特征描述类型,SRE（Simplified Regular Expression Signature）特征不仅可以准确地表达攻击的字符特征,还可以很容易地转化为现有IDS的检测规则。通过定义两个SRE特征之间的更精确比较关系,本文从理论上回答了对于变形攻击“什么是更精确的特征”和“什么是最精确的特征”。本文将NSG方法建模为MSSG（the Most SpecificSignature Generation）问题,即NSG的目标是要提取攻击的“最精确特征“,并证明了MSSG问题是一个NP难（NP-hard）问题。（2）提出攻击样本噪声过滤模型。能够快速有效地捕获到新攻击的样本是特征提取的前提和基础。本文设计和实现了一个分布式Honeypot系统—HonIDS用于捕获新攻击样本。与通常将所有访问Honeypot的数据都当作攻击样本进行特征提取的做法不同,本文首次提出在Honeypot系统中加入攻击样本的噪声过滤模型,以去除来自正常数据的噪声:提出了TFRPP和贝叶斯这两种攻击检测模型,并在这两种检测模型的基础上构建三种攻击样本噪声过滤方法。实验表明,利用这些噪声过滤方法可以有效地过滤掉Honeypot系统产生的一些攻击样本噪声。（3）提出基于多序列联配的特征提取方法。针对现有NSG方法在提取特征准确性上的不足,本文借鉴序列联配算法在生物信息学中的应用,提出了基于多序列联配的特征提取方法。面向不同的特征提取应用情况,本文分别提出了一系列创新性的序列联配算法,包括CSR和ECSR等两种双序列联配算法,以及PDRPMSA、HPMSA和T-Coffee+CSR等三种多序列联配算法。实验表明,在没有噪声的情况下,利用PDRPMSA算法可以提取一种变形攻击的特征,特征准确性优于目前常用的方法;在攻击样本含有噪声的情况下,利用HPMSA算法和T-Coffee+CSR算法仍然能够准确地提取出变形攻击的特征,具有良好的抗噪能力。（4）提出攻击特征树的概念以及增量式攻击特征树生成方法。现实中攻击之间具有的联系在很多时候会反映为它们特征的相似性。但是当前NSG方法所输出的特征是孤立的,不能通过特征之间的关系来反映攻击之间的联系。针对这一问题,借助于SRE特征之间更精确比较关系,本文提出攻击特征树的概念。也就是,将提取的SRE特征组织成树形结构,使得子节点特征一定比它的父节点特征“精确”。攻击特征树可以反映攻击之间的联系以及攻击如何随时间衍生变化,并且使特征选择、特征库的维护和管理变得简单。NSG应用最复杂的一种情况是,需要进行特征提取的样本混合来自于多个（变形）攻击,其中可能还含有噪声。针对这种情况,本文基于攻击特征树的概念提出一种NSG系统PolyTree,它利用ISTG算法增量生成多种攻击的攻击特征树。PolyTree是当前唯一采用增量式工作的NSG系统。实验结果表明,PolyTree生成的攻击特征树具有良好的性质。首先,来自不同攻击的样本能够在攻击特征树中有效的聚类;其次,如果样本充分,每一个攻击的最精确特征都会被提取出来并包含在攻击特征树中。本文证明了ISTG算法的正确性,并分析了它的抗恶意攻击能力。（5）基于BSCM模型的NSG应用系统设计。为了应用本文的技术和方法,本文最后研究了NSG应用系统的设计,在设计过程中我们重点考虑了安全协作。本文首先从抽象层次上提出了一种通用的网络安全协作模型—基于黑板模型的安全协作模型BSCM;然后在BSCM模型的基础上,设计了一种分布式NSG应用系统。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 特征自动提取研究的产生背景
• 1.1.1 异常检测和误用检测
• 1.1.2 人工提取特征的缺点
• 1.1.3 变形技术带来的挑战
• 1.2 特征自动提取技术
• 1.2.1 概念
• 1.2.2 研究目标
• 1.3 特征自动提取技术研究现状
• 1.3.1 基于网络的特征提取（NSG）
• 1.3.2 基于主机的特征提取（HSG）
• 1.3.3 NSG方法和HSG方法优缺点的比较
• 1.3.4 现有NSG方法的局限性
• 1.4 本文的工作
• 1.5 论文的组织
• 第二章 NSG方法的模型及框架研究
• 2.1 简化正则表达式（SRE）特征
• 2.1.1 当前NSG方法采用的特征类型的不足
• 2.1.2 SRE特征的定义
• 2.1.3 更精确特征的定义
• 2.1.4 SRE特征相关性质
• 2.1.5 更精确特征的判定方法
• 2.1.6 SRE特征与现有IDS检测规则的转换
• 2.2 NSG方法的问题模型
• 2.2.1 MSSG问题
• 2.2.2 MSSG问题的计算复杂性分析
• 2.3 一种NSG系统框架
• 2.3.1 NSG应用系统框架的定义
• 2.3.2 当前NSG方法对NSG应用系统框架的实现情况
• 2.4 特征准确性的定量评价标准
• 2.5 本章小结
• 第三章 基于Honeypot的攻击样本获取
• 3.1 相关工作
• 3.1.1 Honeypot
• 3.1.2 现有攻击样本获取方法
• 3.2 面向攻击检测和特征提取的分布式Honeypot系统-HonIDS
• 3.2.1 HonIDS的分层体系结构
• 3.2.2 服务层和主机层
• 3.2.3 事件层
• 3.2.4 数据模型层
• 3.3 攻击检测与攻击样本噪声过滤方法
• 3.3.1 攻击检测模型
• 3.3.2 攻击样本噪声过滤方法
• 3.4 实验及结果分析
• 3.4.1 攻击检测模型的训练
• 3.4.2 攻击检测模型的验证
• 3.4.3 攻击样本噪声过滤方法的验证
• 3.5 HonIDS原型系统的实现
• 3.6 本章小结
• 第四章 基于多序列联配的非抗噪特征提取方法
• 4.1 相关工作
• 4.1.1 现有NSG方法在提取特征准确性上的不足
• 4.1.2 序列联配
• 4.2 基于多序列联配的非抗噪特征提取方法
• 4.2.1 方法概述
• 4.2.2 面向特征提取的双序列联配算法
• MSA'>4.2.3 面向特征提取的多序列联配算法PDRP_MSA
• 4.2.4 特征转化
• 4.3 实验与结果分析
• 4.3.1 实验设置
• 4.3.2 产生的攻击特征
• 4.3.3 算法的比较
• 4.4 本章小结
• 第五章 基于多序列联配的抗噪特征提取方法
• 5.1 问题定义
• MSA算法的抗噪特征提取方法'>5.2 基于HP_MSA算法的抗噪特征提取方法
• MSA'>5.2.1 层次式带剪枝多序列联配算法HP_MSA
• 5.2.2 抗噪能力分析
• 5.2.3 抗噪能力测试
• 5.3 基于T-Coffee+CSR算法的抗噪特征提取方法
• 5.3.1 方法概述
• 5.3.2 方法描述
• 5.3.3 实验及结果分析
• 5.4 本章小结
• 第六章 攻击特征树及其生成算法研究
• 6.1 攻击特征树
• 6.1.1 研究背景
• 6.1.2 攻击特征树及其生成问题的定义
• 6.1.3 攻击特征树带来的好处
• 6.2 PolyTree系统
• 6.2.1 PolyTree的部署
• 6.2.2 PolyTree的工作流程和系统结构
• 6.3 基于ISTG算法增量生成攻击特征树
• 6.3.1 ISTG算法描述
• 6.3.2 ISTG算法执行示例
• 6.3.3 ISTG算法正确性证明
• 6.3.4 ISTG算法性质分析
• 6.4 特征选择
• 6.5 PolyTree的性能分析
• 6.5.1 ISTG算法性能分析
• 6.5.2 PolyTree在线工作的性能分析
• 6.6 实验与结果分析
• 6.6.1 实验方法
• 6.6.2 多个变形蠕虫不含噪声
• 6.6.3 多个变形蠕虫包含噪声
• 6.6.4 特征树生成的性能
• 6.7 PolyTree抗恶意攻击能力分析
• 6.8 本章小结
• 第七章 基于BSCM模型的分布式NSG应用系统设计
• 7.1 相关研究
• 7.2 基于黑板的网络安全协作模型BSCM
• 7.2.1 BSCM模型的框架
• 7.2.2 BSCM模型的"注册—反馈"机制
• 7.2.3 BSCM模型的形式化定义
• 7.3 基于BSCM模型的分布式NSG应用系统设计
• 7.3.1 安全主体与黑板域的定义
• 7.3.3 通过协作实现特征的应用
• 7.4 本章小结
• 第八章 总结与展望
• 8.1 论文总结
• 8.2 未来工作展望
• 致谢
• 参考文献
• 作者在学期间取得的学术成果