网络安全监控中重复数据检测技术的研究与实现

论文摘要

随着计算机技术的迅猛发展和网络应用的日益广泛,网络安全监控在维护网络正常高效运行、保障网络和信息系统安全以及分析网络用户行为等方面,具有越来越重要的作用。然而,大规模网络安全监控数据的高效处理需求和有限的计算、存储、网络带宽等资源之间的矛盾日渐突出,如何采用合适的技术,在有限的计算存储资源情况下,对无限、快速、持续到达的网络安全监控数据进行处理,成为网络安全监控系统面临的首要问题。流数据重复检测作为流数据处理中的一个重要环节,一方面,对检测出的重复数据进行分析,进而为后续的网络安全监控应用提供支持;另一方面,通过删除检测出的重复数据,可以更好地实现有效的网络传输和高效的在线分析处理。本文以网络安全监控为背景,针对网络安全监控数据处理存在的问题,对当前的数据流管理系统和流数据重复检测技术进行了研究。主要工作有:1、系统地研究了部分已公开的数据流管理系统,对各自的应用领域、体系结构、查询语言、组成和特点等进行了分析,提出了满足网络安全监控要求的数据流管理系统。并以TelegraphCQ数据流管理系统为例简要分析了其中实现的重复检测方法。2、通过对现有流数据重复检测技术的研究,针对网络安全监控流数据的特点,提出了一种流数据重复检测算法。该算法通过增加更新过程来弥补Bloom Filter的不足,应用基于改进的Bloom Filter的界标窗口模型,在给定固定小的空间和允许一定误称率的情况下,获得了较好的准确率和时间效率。3、在网络安全监控数据流管理系统中实现了上述流数据重复检测算法,降低了后期需要处理和分析的数据量,提高效率,并节约存储空间。综上所述,本文针对网络安全监控这一典型的数据流应用场景,提出并实现了一种流数据重复检测算法,对流数据处理有一定的实用价值。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题研究背景
• 1.2 国内外研究现状
• 1.3 本文研究工作
• 1.4 论文组织结构
• 第二章 流数据重复检测相关技术
• 2.1 数据流管理系统
• 2.1.1 数据流管理系统介绍
• 2.1.2 数据流管理系统存在的问题
• 2.1.3 数据流管理原型系统实例
• 2.2 窗口模型
• 2.2.1 界标窗口
• 2.2.2 滑动窗口
• 2.2.3 跳动窗口
• 2.2.4 Hopping/Tumbling 窗口
• 2.3 概要数据结构
• 2.3.1 批处理方法
• 2.3.2 基于界标模型的方法
• 2.3.3 基于滑动窗口模型的方法
• 2.3.4 快照方法
• 2.4 网络监控
• 2.4.1 网络监控概述
• 2.4.2 网络监控流数据特点
• 2.5 本章小结
• 第三章 网络安全监控重复数据检测
• 3.1 网络安全监控数据流管理系统
• 3.2 现有数据流管理系统重复检测方法分析
• 3.3 Bloom Filter 介绍
• 3.4 基于界标窗口改进 Bloom Filter
• 3.4.1 Stable Bloom Filter 介绍
• 3.4.2 Bloom Filter*的提出
• 3.4.3 理论验证与分析
• 3.5 本章小结
• 第四章 流数据重复检测模块的实现
• 4.1 网络安全监控数据流管理系统结构
• 4.1.1 流处理模块
• 4.1.2 查询模块
• 4.1.3 用户交互模块
• 4.2 流数据重复检测模块
• 4.3 流数据重复检测算法实现过程
• 4.3.1 实现过程
• 4.3.2 参数设置
• 4.3.3 时间复杂性
• 4.4 本章小结
• 第五章 流数据重复检测模块性能验证与分析
• 5.1 数据集
• 5.2 稳定性
• 5.3 错误率比较
• 5.4 时间比较
• 5.5 本章小结
• 第六章 结束语
• 致谢
• 参考文献
• 作者在攻读硕士学位期间发表的论文
• 作者在攻读硕士学位期间参与的科研项目