流量监测中数据存储处理方法研究

论文摘要

随着技术的发展和网络的普及,互联网跟社会生活各方面的联系也越来越紧密,流量监测的重要性也日益突出。但在当前复杂的网络环境下,如何高效处理这些流量监测生成的海量数据成为一大难题。本文课题来源于中科院计算所在研的项目IP综合网络流量监测系统,尝试解决监测过程中出现的数据瓶颈问题。本文首先简要介绍了流量监测的相关背景知识,然后具体分析了数据瓶颈的形成原因,指出监测技术、数据存储形式及监测需求的多样性是成因。本文同时对当前的监测数据处理方法做了概要剖析,其中InTraBase方法是当前较好解决方案。InTraBase较好地解决了数据瓶颈中数据管理不便的问题,但其数据分析效率和指标分析范围还不尽如人意。本文对InTraBase方法进行改进,提出需求预注入的监测数据处理方法,简称DPI方法,主要工作包括:1设计实现了一种基于需求预注入的数据存储处理方法。造成数据瓶颈的关键原因是用户角色、监测需求、监测性能的多样性。为了实现需求前期预注入从而减少数据冗余,本文一方面在系统中加入严格的用户权限管理,另一方面将数据分析过程划分为松耦合的两个阶段,并将第一阶段功能前移到在线处理环节。DPI方法对网络流量进行在线聚合处理生成时间序列,生成的时间序列主要有数据包和业务流两类,其聚合过程有所不同。对时间序列的存储完全依赖关系数据库实现,并根据其存储特点设计了相应的数据压缩方案。2.进行监测数据分析实验。包括两个分析实验:一个是分析性能对比实验,分别在DPI方法和InTraBase方法中对TCP协议进行一天时间范围内的流量分析,通过比较两者的分析耗时,证明DPI方法中数据分析效率有明显提高;另一个是流量异常发现实验,本文在DPI数据存储方法基础上实现了流量的异常检测,体现了其对高级流量分析功能的支持。3存储子系统实现及其性能优化。本文中的数据存储处理主要体现在大型监测系统NETTURBO的存储子系统中。在介绍了该子系统实现后又从三个方面对存储子系统进行性能优化。首先,通过应用生产者/消费者算法实现了I/O的异步;其次,通过模拟实验找出最佳的数据表结构设计,发挥数据表的最佳性能;最后,在数据分析环节应用表分区、索引等数据库调优技术加快数据搜索速度。本文涉及的系统已在网通山东总公司、长城宽带武汉分公司等单位使用,结果证明本文方法能大幅度降低监测成本提高监测性能。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景
• 1.1.1 数据瓶颈问题
• 1.1.2 课题来源
• 1.1.3 研究意义
• 1.2 监测数据存储处理现状
• 1.3 本文主要工作
• 1.4 本文基本结构
• 第2章 流量监测数据存储处理综述
• 2.1 数据瓶颈原因分析
• 2.1.1 监测技术特点
• 2.1.2 数据存储形式
• 2.1.3 监测需求与指标
• 2.2 一般监测数据存储处理方法
• 2.2.1 文件存储和ad-hoc 脚本分析
• 2.2.2 专项监测系统
• 2.2.3 在线处理系统
• 2.2.4 基于数据仓库的系统
• 2.3 InTraBase 存储处理方法
• 2.3.1 InTraBase 系统结构
• 2.3.2 InTraBase 方法评价
• 2.4 本章小结
• 第3章 DPI 监测数据存储处理方法
• 3.1 需求用户管理
• 3.1.1 权限和角色定义
• 3.1.2 用户管理实现
• 3.1.3 用户权限管理作用
• 3.2 数据在线聚合处理
• 3.2.1 两阶段数据分析
• 3.2.2 数据处理与需求的关系
• 3.2.3 需求预注入架构
• 3.2.4 在线聚合处理实现
• 3.3 数据存储
• 3.3.1 数据存储设计
• 3.3.2 数据压缩
• 3.4 本章小结
• 第4章 数据分析实验
• 4.1 性能对比实验
• 4.1.1 实验方案
• 4.1.2 实验过程
• 4.1.3 实验结果和分析
• 4.2 列异常发现实验
• 4.2.1 相关定义
• 4.2.2 异常发现过程
• 4.2.3 结果分析
• 4.3 本章小结
• 第5章 存储子系统实现及性能优化
• 5.1 背景系统介绍
• 5.1.1 功能和架构
• 5.1.2 系统组成
• 5.2 子系统功能
• 5.2.1 监测数据存储
• 5.2.2 全局配置管理
• 5.2.3 用户管理
• 5.2.4 提供数据操作接口
• 5.3 主要数据表设计
• 5.3.1 全局数据表
• 5.3.2 被动测量数据表
• 5.3.3 主动测量数据表
• 5.3.4 SNMP 数据表
• 5.4 性能优化
• 5.4.1 I/O 效率优化
• 5.4.2 表结构设计
• 5.4.3 数据库优化
• 5.5 本章小结
• 结论与展望
• 参考文献
• 致谢
• 附录 A 攻读学位期间所发表的学术论文目录
• 附录 B 攻读学位期间所参与的科研项目目录