数据流多重持续查询优化技术研究及其在入侵检测中的应用

论文题目: 数据流多重持续查询优化技术研究及其在入侵检测中的应用

论文类型: 硕士论文

论文专业: 计算机软件和理论

作者: 沈星星

导师: 程学旗

关键词: 数据流处理,数据流管理系统,多重持续查询优化,网络入侵检测

文献来源: 中国科学院研究生院（计算技术研究所）

发表年度: 2005

论文摘要: 随着网络技术的发展,越来越多的应用系统需要处理各种以流动形式存在的数据。由于流数据与静态数据的处理有着巨大差异,传统的数据库管理技术已经不能适应对高速、变化的数据流进行实时处理的需求。与此同时,基于数据流的持续查询处理技术在近年来得到了学术界的广泛关注。例如,网络入侵检测必须不间断、无延迟地处理在线、持续流动的高速网络报文,是数据流技术应用的典型场景。本文从理论模型和实际应用两方面出发,研究了大规模数据流持续查询技术及其在网络入侵检测中的应用。具体工作如下:总结了国内外数据流查询技术的研究现状以及网络入侵检测所面临的挑战,阐述了数据流多重持续查询优化技术的重要性及其在网络安全中的应用背景。总结了网络入侵检测等安全应用系统与数据流管理技术之间的紧密联系,分析了数据流处理基础平台对相关应用系统的支持。通过将网络数据关系化以及检测规则关系化,建立了网络入侵检测的关系数据流模型。该模型将为基于网络数据流处理的相关网络安全系统提供共性的数据处理平台,为进一步提高相关应用系统的数据共享能力和系统效能提供了基础支持。进一步研究了基于单流过滤的多重持续查询优化算法。通过将大规模查询操作编译为一个自动机匹配树,能够消除查询谓词执行过程中的许多冗余操作。在此基础上,引入决策树模型,并利用决策树的信息增益对各个属性的选择性进行度量,调整属性的匹配次序,从而优化匹配时间。针对网络入侵检测中所涉及到的不同数据类型,分别设计了整型字段、flags型字段以及字符型字段的匹配决策树节点的数据结构和匹配方法。试验表明,优化算法能够大大减少谓词执行过程中的比较次数,并且随着规则数目的增加,比较次数保持稳定,不会相应线性增长。本文最后设计和实现了一个基于关系数据流模型的入侵检测系统IceNetwork。系统采用了多重持续查询优化算法。通过构造一个入侵检测系统的测试环境,对系统进行了功能验证。试验证明了这种设计思路是正确可行的。通过性能对比试验,比较了IceNetwork原型系统与Snort在强攻击流压力下的执行效率。测试不同流量压力下的平均丢包率,Snort为45%,IceNetwork为4.5%。试验显示IceNetwork比Snort有更高的处理性能。

论文目录:

声 明

关于论文使用授权的说明

摘要

ABSTRACT

第一章 引言

1.1 数据流查询技术研究的背景

1.1.1 流数据处理的特点与应用场景

1.1.2 数据流模型与数据库模型

1.1.3 数据流查询面临的挑战

1.2 数据流多重查询优化技术研究现状

1.3 入侵检测的相关技术和方法

1.4 网络入侵检测的应用需求与挑战

1.5 本文的工作以及论文的组织

第二章 数据流管理模型及多重持续查询处理技术

2.1 数据流管理模型

2.1.1 数据模型

2.1.2 查询模型

2.1.3 数据流的基本运算

2.1.4 数据流管理系统

2.2 多重持续查询处理技术

2.3 小结

第三章 应用于网络入侵检测的数据流管理平台

3.1 网络入侵检测和数据流管理技术的关系

3.2 网络入侵检测的关系数据流模型的建立

3.2.1 网络数据关系化

3.2.2 入侵检测规则的关系查询表示

3.3 Snort 工作原理以及检测引擎实现方式

3.4 小结

第四章 基于单流过滤的多重持续查询优化算法

4.1 问题描述

4.2 谓词匹配算法综述

4.2.1 谓词匹配问题概述

4.2.2 基于谓词分组的方法

4.2.3 基于匹配树的方法

4.2.4 Hanson 算法

4.2.5 Aguilera 算法

4.3 基于匹配树的谓词匹配算法的不足之处

4.4 基于决策树的过滤型多重持续查询优化算法

4.4.1 决策树模型的引入

4.4.2 决策树生成

4.4.3 信息增益的度量

4.5 不同类型数据字段的优化

4.5.1 Int 型数据字段优化

4.5.2 Flags 型数据字段优化

4.5.3 String 型数据字段优化

4.6 决策树的优化

4.7 实验

4.8 小结

第五章一个基于关系数据流模型的入侵检测系统的设计和实现

5.1 系统的目的和意义

5.2 系统功能框架

5.2.1 流预处理模块

5.2.2 持续查询解析模块

5.2.3 持续查询执行模块

5.2.4 用户交互模块

5.3 系统功能与性能测试

5.3.1 攻击测试数据构建

5.3.2 攻击测试评估及效果分析

5.4 小结

第六章 结论和展望

参考文献

发表文章

致谢

作者简介

发布时间: 2006-12-26

参考文献

• [1].基于网络安全数据流的数据立方体技术的研究与实现[D]. 韩矞.国防科学技术大学2009
• [2].面向组播环境的数据流认证模型研究[D]. 刘晓丽.东北大学2010
• [3].入侵检测中基于密度的数据流聚类算法研究[D]. 王彦涛.哈尔滨理工大学2011
• [4].入侵检测系统数据流重组研究[D]. 李玮.合肥工业大学2007
• [5].基于深度数据流检测的业务识别[D]. 张成壮.北京邮电大学2017
• [6].基于在线聚类的数据流生成系统的优化与实现[D]. 胡睿.北京邮电大学2011
• [7].面向微博数据流的观点汇总技术的研究与实现[D]. 刘帅.东北大学2014
• [8].基于数据流的僵尸网络检测系统设计与实现[D]. 邓君.哈尔滨工业大学2010
• [9].基于数据流特征选择及分类算法的入侵检测模型研究[D]. 冯璐.南京信息工程大学2016
• [10].高速网络实时取证数据流重组技术研究[D]. 张辉.华中科技大学2008

相关论文

• [1].基于kalman滤波器的数据流查询优化的研究[D]. 刘琴.东南大学2006
• [2].数据流管理系统中概要数据结构算法的研究和实现[D]. 吴成涛.东南大学2006
• [3].连续数据流上的聚集查询研究[D]. 孙雷.南京航空航天大学2006
• [4].数据流模式的数据管理关键技术研究[D]. 侯东风.国防科学技术大学2004
• [5].数据流数据库管理系统研究[D]. 刘正涛.南京航空航天大学2006
• [6].数据流管理系统研究与实现[D]. 吴庄.南京航空航天大学2006
• [7].数据流管理原型系统的设计与实现[D]. 马嘉.西南交通大学2006
• [8].数据流中适应性查询处理机制的研究[D]. 张立杰.辽宁大学2006
• [9].基于数据流挖掘的网页热门主题获取技术研究[D]. 张翠玲.哈尔滨工业大学2006
• [10].基于数据流的网络流量突发异常检测[D]. 陈婷婷.哈尔滨工业大学2006

标签：数据流处理论文;  数据流管理系统论文;  多重持续查询优化论文;  网络入侵检测论文;