大流量网络异常检测技术的研究与设计

论文摘要

随着网络技术的发展和网络规模的日益扩大,以及承载业务种类的逐渐增多,Internet的发展给人们带来了巨大方便。但是,这些都使网络中出现故障或性能问题的机会曾大。准确、快速地检测出网络流量异常,并做出合理的响应,是保证网络正常运行的前提条件之一,因此网络流量异常检测成为一个备受关注的研究课题。网络流量异常分析是网络监测中的关键部分,能够准确、及时地检测出异常对提高网络的可用性和可靠性具有非常重要的意义。本文首先概述了网络流量异常,介绍了异常检测的发展概况和相关技术;对常用的检测算法进行分析和评价,为网络异常实时检测方法的研究提供理论基础;同时提出了本文异常检测的研究思路。为了选择现有更好的数据采集方式,文章详细介绍了当前数据采集的各类方法,分析了每一个数据采集方法的优点和不足。其中,重点介绍了基于flow的采集方式的特点,并且把这种方法作为结构模型中的数据采集方式。目前存在很多网络流量异常检测技术,文章分析比较了主要的异常检测技术,重点地研究和分析了基于指数平滑技术的网络流量异常检测技术。指数平滑是基于时间序列的一个简单统计模型进行预测的,文章列出了简单指数平滑和Hot-winter指数平滑技术,并且详细描述了这一检测方法。指数平滑异常检测方法的整个检测过程划分为三个步骤:第一步,预测时间序列中下一个值的算法;第二步,度量预测值和实际观测值之间的偏差;第三步,判断观测值是否异常的机制（即判定它是否远离预测值）。基于上述背景,本文针对大流量的网络环境,设计了大流量下网络流量异常检测的的架构模型。整个架构模型包括数据采集、数据处理分析两个模块。其中在数据采集方法中,针对大流量的这一特点,采用了基于Netflow的数据采集技术。在数据处理分析模块中,借鉴了基于指数平滑技术的网络流量异常检测技术思想,通过对预测的数据的处理分析,来判断是否会发生异常,实现异常流量的检测。目前,为了更好应对网络规模膨胀,网络设备多样和网络应用增加所带来管理,需要探索大流量下网络流量异常分析的新方法,以提高对网络流量异常的检测的能力。本文在网络流量异常检测的体系架构和管理手段等方面进行了初步的探索,但是还需要在理论和实际应用方面做更进一步的研究。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 课题背景
• 1.1.1 网络管理
• 1.1.2 网络管理与网络流量检测
• 1.1.3 网络流量异常
• 1.1.4 网络异常分类
• 1.1.5 网络异常流量检测的意义
• 1.2 网络异常检测方法概述
• 1.2.1 基于时间序列的网络异常检测方法
• 1.2.2 基于小波变换的网络异常检测方法
• 1.3 论文的主要工作
• 1.4 系统模型的主要功能与特色
• 1.5 论文的组织结构
• 1.6 本章小结
• 第2章 网络流数据采集方法的相关研究
• 2.1 网络流数据采集概述
• 2.2 网络流量的全镜像的数据采集方式
• 2.3 基于实时数据抓包的网络流量采集方式
• 2.3.1 TcpDump
• 2.4 基于SNMP的网络流量采集方式
• 2.5 基于探针PROBE的网络流量采集方式
• 2.6 基于流（FLOW）的网络流量采集方式
• 2.7 本章小结
• 第3章 基于指数平滑技术的网络流量异常分析
• 3.1 时间序列模型
• 3.1.1 时间序列
• 3.1.2 时序的平稳性
• 3.2 简单指数平滑监测
• 3.2.1 基本预测算法
• 3.3 HOLT-WINTERS指数平滑监测
• 3.4 本章小结
• 第4章 大流量下网络流量异常检测系统的框架模型
• 4.1 模型设计目标
• 4.2 设计思想以及主要问题
• 4.2.1 模型设计思想
• 4.2.2 要解决的核心问题
• 4.3 总体结构设计
• 4.4 数据采集模块的分析与设计
• 4.4.1 Netflow的基本原理
• 4.4.2 Netflow的输出格式
• 4.4.3 基于Netflow的流数据采集方法
• 4.4.4 流采集器的主要功能
• 4.5 异常处理与分析模块设计
• 4.6 数据库模块设计
• 4.7 本章小结
• 第5章 总结与展望
• 参考文献
• 致谢
• 攻读学位期间发表的主要学术论文目录
• 学位论文评阅及答辩情况表