基于网络安全数据流的数据立方体技术的研究与实现

论文摘要

随着网络技术的飞速发展和社会的不断进步,互联网已成为国家关键的基础设施,事关国家和人民的根本利益。由于网络设备的不断普及,互联网用户急剧增加,网络已成为人们生活不可或缺的重要部分。然而,随着网络的飞速发展,网络的安全性也在不断地遭到威胁。木马、病毒、黑客攻击等越来越多的安全事件不断出现,导致网络大面积瘫痪、重要信息系统的安全受到威胁,严重影响了人民的生产生活。因此迫切需要对国家公共互联网的安全态势进行实时准确的感知、监控和分析。如何从海量数据中提取影响网络安全的重要信息,以供决策者制定相应的策略和应对措施,已经成为一项亟待解决的重要课题。国家为了对骨干互联网进行有效的安全监控,必须对网络安全事件数据进行高效、可靠的管理,并对其实施多模式、多维度的查询,计算出安全指标体系指数,从而对网络安全状况进行有效的分析和预测。然而,安全事件数据流具有海量性、实时性、多变性和多维度等特点,而且对于数据的查询必须满足实时性和准确性等要求,这无疑给传统的数据管理技术带来了挑战。为解决这个问题,本文在传统的联机分析处理（OLAP）以及数据立方体基础上提出了一种基于数据流的混合数据立方体构建方法,并给出了相应的查询和增量更新算法。通过实际数据的检验,该方法可以有效实现对于网络安全数据流数据的管理,极大缩短了查询响应的时间,提高了查询结果的精度。本文的主要工作概述如下:1.分析了网络安全监控的任务和需求,并给出了网络安全监控的一般流程。分析了联机分析处理、数据流处理技术的研究现状,列出了数据流不同于传统数据结构的特点,分析了网络安全数据流处理的特殊要求。2.根据网络安全监控数据的特点,提出了网络安全数据立方体的模型,分析了数据立方体计算的各种方法和优化技术,总结了对于网络安全数据立方体的各种操作。3.在网络安全数据立方体的基础上提出了网络安全数据流立方体模型及其构建的关键技术,同时给出了其增量更新算法。另外根据实际应用背景,提出了一种混合数据立方体模型,并给出了其相应的查询和增量更新算法。通过实验,验证了混合数据立方体模型的有效性。4.研究开发了YH-SOC的联机分析处理模块YH-OLAP系统,实现了对海量网络安全监测数据的多维多层次、近实时的综合分析。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景及意义
• 1.2 研究内容
• 1.3 论文结构
• 第二章 相关技术研究
• 2.1 网络安全监控技术
• 2.1.1 网络安全监控的目标和任务
• 2.1.2 网络安全监控系统的结构和工作流程
• 2.2 联机分析处理技术
• 2.3 数据流处理技术
• 2.4 本章小结
• 第三章 基于网络安全数据流的数据立方体研究
• 3.1 网络安全数据立方体
• 3.1.1 网络安全数据立方体模型
• 3.1.2 网络安全数据立方体形式化建模
• 3.1.3 网络安全数据立方体计算
• 3.1.3.1 网络安全数据立方体计算的优化技术
• 3.1.3.2 计算完全立方体
• 3.1.3.3 计算冰山立方体
• 3.1.4 网络安全数据立方体操作
• 3.2 网络安全数据流立方体模型
• 3.2.1 网络安全数据流上的联机分析处理
• 3.2.2 网络安全数据流立方体构建的关键技术
• 3.2.2.1 倾斜时间框架
• 3.2.2.2 网络安全数据流立方体的部分物化
• 3.2.3 网络安全数据流立方体模型的定义
• 3.3 网络安全数据流立方体的多维查询和维护
• 3.3.1 网络安全数据流立方体的查询
• 3.3.2 网络安全数据流立方体的增量更新
• 3.4 基于网络安全数据流的混合数据立方体模型
• 3.4.1 混合数据流立方体模型
• 3.4.2 混合数据流立方体的增量更新算法
• 3.4.3 在系统中的实现和测试
• 3.5 本章小结
• 第四章 网络安全态势分析预测系统实现
• 4.1 YH-SOC简介
• 4.1.1 YH-SOC功能
• 4.1.2 YH-SOC工作流程
• 4.1.3 Agent的结构以及工作原理
• 4.2 YH-OLAP系统设计
• 4.2.1 YH-OLAP功能和结构
• 4.2.2 数据立方体模型的表示
• 4.2.3 部分物化数据立方体的生成
• 4.2.4 系统优化
• 4.3 YH-SOC功能测试
• 4.4 本章小结
• 第五章 总结与展望
• 5.1 本文总结
• 5.2 下一步研究
• 致谢
• 参考文献
• 作者在学期间取得的学术成果