面向网络安全监控的数据流关键技术研究

论文摘要

随着计算机技术的飞速发展和网络应用的日益广泛,互联网在人们的生活中扮演着越来越重要的角色。与此同时,各种网络安全事件层出不穷,严重威胁着互联网的应用和发展。以安全为目的的网络监控,在维护网络正常高效运行、保障关键设施和信息系统安全等方面,具有越来越重要的作用。如何对分布、海量的网络安全监控数据实施有效的网络传输和高效的在线分析,进而为各种应用提供进一步支持,成为网络安全和数据处理领域的一个重大挑战。本文以网络安全监控为背景,针对网络监控应用特点和当前监控数据处理存在的挑战性问题,从数据流处理角度,对分布式网络安全监控数据处理中几个关键问题的高效处理技术进行了研究。主要贡献为:1、针对分布式连续极值查询,研究了计算、存储、通信高效的处理方法。首先提出了一种数据裁剪策略,仅需保存部分关键点便可满足查询需要;远程节点采用延迟传输算法DTA,在保证结果正确性的前提下尽量延迟数据传递并依据裁剪策略对局部数据流进行过滤,达到降低网络通信量的目的;集中式节点采用多极值查询处理算法MCEQP,充分利用系统中多个查询间可共享的资源,将多个查询作为整体进行考虑,比对每个查询分别单独处理更加高效。理论分析和实验结果表明,当数据规模较大时,裁剪策略可以丢弃约99%的数据,若数据满足独立均匀分布,实际需要保存的关键点个数仅为O（logN）;与传输所有数据的方法相比,DTA方法仅需不到10%的通信量;MCEQP方法也比目前已有的基于资源共享技术的通用方法更加高效。2、针对分布式阈值监控,研究了低通信开销的处理方法CEM。该方法充分利用被监控对象间的相对关系,把多个对象作为整体进行统一处理,将多个对象的持续监控变为对一个代表对象的监控和对局部约束条件的维护操作,比分别单独监控每个对象更加高效;只有当局部约束被打破时,才需要通信并进行参数调整以重建约束。理论分析和真实数据集上的实验表明,与将对象分别独立监控的方法相比,CEM方法能够有效降低约70%的通信开销。3、对网络安全监控环境下的Skyline查询进行了研究。考虑网络安全监控场景与先进先出滑动窗口单数据流场景存在很大差异,原有数据流上的连续Skyline计算方法不再适用。针对这一情况,首先概括出了按任意顺序随机增删的多数据流场景下的Skyline计算问题,然后提出了两个解决算法:基本算法BCSC和基于网格索引数据结构的算法GICSC。前者是在已有算法基础上的适应性改造,而后者采用了新颖的数据结构以及高效的初始化和动态维护方法,在保证结果正确性的前提下仅需对部分数据进行处理,因此具有更高的效率。根据数据分布和维度的不同,GICSC每秒能够处理103～105个数据。由于没有对数据流特性进行假设限制,因此BCSC和GICSC算法具有更广泛的适应性,能够满足网络安全监控中随机增删的多流场景。4、对基于预测模型的通用降低通信开销方法进行了进一步研究。描述了该方法的详细体系结构,改进了现有的预测模型并与之进行了比较。理论分析和真实数据集上的实验证明了改进后的模型在预测准确率、降低通信开销等方面的优势。5、基于上述关键技术的研究探索,设计并实现了一个网络安全监控数据流处理引擎StarAnalysis+的系统原型,并讨论了其在“北京奥运网安全态势分析与展示系统”中的验证性应用等问题。综上所述,本文的工作针对网络安全监控应用中亟待解决的数据处理问题,就几个重要的基础操作进行了计算、存储、通信高效的关键算法突破研究,同时提出了基于预测模型的通用降低通信开销框架,对于促进大规模网络安全监控数据处理的理论研究和实用化具有一定的理论意义和应用价值。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.1.1 严峻的网络安全形势
• 1.1.2 网络安全监控
• 1.1.3 网络监控数据处理面临的问题
• 1.1.4 数据流技术
• 1.2 数据流相关研究工作
• 1.2.1 数据流管理系统
• 1.2.2 数据流处理算法
• 1.2.3 研究现状总结
• 1.3 本文工作
• 1.3.1 主要研究内容
• 1.3.2 主要创新点
• 1.4 论文结构
• 第二章 高效的连续极值查询处理方法
• 2.1 问题描述及已有工作
• 2.1.1 问题形式化描述
• 2.1.2 极值查询相关工作
• 2.2 存储最优的数据裁剪策略
• 2.3 延迟传输过滤算法
• 2.3.1 算法描述
• 2.3.2 复杂性分析
• 2.3.3 资源受限情况下的扩展
• 2.4 多极值查询处理算法
• 2.4.1 算法结构
• 2.4.2 算法描述
• 2.4.3 复杂性分析
• 2.5 实验
• 2.5.1 实验设置
• 2.5.2 降低数据规模效果
• 2.5.3 降低通信开销效果
• 2.5.4 多极值查询处理算法性能
• 2.6 本章小结
• 第三章 低通信开销分布式阈值监控方法
• 3.1 问题描述及已有工作
• 3.1.1 问题形式化描述
• 3.1.2 阈值监控相关工作
• 3.2 基本观察及预备知识
• 3.3 算法描述
• 3.3.1 算法总体框架
• 3.3.2 调整过程
• 3.3.3 调整因子分配
• 3.4 算法分析及扩展
• 3.4.1 正确性证明
• 3.4.2 特性分析
• 3.4.3 算法扩展
• 3.5 实验
• 3.5.1 实验设置
• 3.5.2 实验结果
• 3.6 本章小结
• 第四章 多流场景下的连续Skyline计算
• 4.1 问题描述及已有工作
• 4.1.1 问题形式化描述
• 4.1.2 Skyline计算相关工作
• 4.2 基本方法BCSC
• 4.3 基于网格索引的方法GICSC
• 4.3.1 影响区域观察
• 4.3.2 网格索引数据结构
• 4.3.3 初始化算法
• 4.3.4 动态维护算法
• 4.4 算法分析
• 4.5 实验
• 4.5.1 实验设置
• 4.5.2 实验结果
• 4.6 本章小结
• 第五章 改进的通用预测模型技术
• 5.1 问题描述及已有工作
• 5.1.1 问题形式化描述
• 5.1.2 相关工作
• 5.2 体系结构
• 5.2.1 远程节点
• 5.2.2 集中式节点
• 5.2.3 客户端模块
• 5.3 预测模型分析与改进
• 5.3.1 静态模型
• 5.3.2 线性模型
• 5.3.3 加速模型
• 5.3.4 分析比较
• 5.4 实验
• 5.4.1 实验设置
• 5.4.2 实验结果
• 5.5 本章小结
• 第六章 网络安全监控数据流处理引擎
• +'>6.1 数据流处理引擎StarAnalysis⁺
• 6.1.1 总体结构
• 6.1.2 数据管理
• 6.1.3 执行引擎与操作算子
• 6.2 主要算子设计实现
• 6.2.1 极值处理
• 6.2.2 阈值处理
• 6.2.3 Skyline处理
• +的应用'>6.3 StarAnalysis⁺的应用
• 6.4 本章小结
• 结束语
• 致谢
• 参考文献
• 作者在学期间取得的学术成果