数据流异常检测系统若干问题研究

论文摘要

近年来,随着网络技术的不断发展,数据流作为一种新颖的数据传输方式在日常生活中有着越来越广泛的应用,并推动了传统的数据库管理系统(DataBase Management System)向数据流管理系统(Data Stream Management System)进行转变。与静态数据相比,数据流具有实时性,连续性和无限性的特点,这使得分析数据流的方式与已有的数据处理方式存在着较大区别。而在国民经济的各个领域中,数据流的分析处理技术都有着非常广泛的应用,因此,对于数据流相关问题的研究,已逐渐成为数据库方向研究的重点。上海电信在日常运营管理过程中,需要对不同层次上网络端口的流量数据进行分析,以实现对系统中的异常情况实时进行监测和处理,提高服务质量。为了应对这样的需求,我们提出了一个新颖的系统RealMon,该系统能够实时监测电信线网中的流量异常情况。在设计和实现RealMon系统的过程中,我们发现,不同链路的流量数据存在着相互关联的特性,并且,这些数据存在着较为严重的数据质量问题。针对这些问题,在本文中,我们首先提出了通过分析一组数据流中关联关系的变化来查找数据流异常的方法,并针对数据流质量问题,设计了对数据流进行实时清洗的模型,在此基础上,我们设计和实现了能够对电信网络流量数据进行实时分析和异常检测的系统RealMon,该系统结合了部分成熟的数据流分析算法,具有较高的实用性。我们通过模拟和真实环境中的实验验证了系统的有效性。本文的贡献和创新之处总结如下:1.在网络流量分析系统及证券交易系统中,不同数据流之间的关联性广泛存在,本文提出了通过分析不同数据流之间关联性的变化来查找异常的方法。该方法首先采用分段聚集近似法对数值型的数据流进行转换,然后使用改进的编辑距离来衡量这些数据流相互关联的程度,最后根据编辑距离的变化通过设定相应的阀值来检测多数据流中的异常情况。我们通过实验表明,该算法性能稳定,高效,能够准确地检测数据流中的异常。2.我们概括了数据流中常见的数据质量问题,在此基础上提出了数据流清洗框架,我们在这个框架中定义了数据流清洗的基本步骤。该框架具有较好的可扩展性,我们能够方便地在框架中更新模块,以解决新的数据质量问题。同时我们设计了能够实时处理数据缺失和规整数据时间属性的方法,并且通过一系列实验来验证了这些方法的有效性。3.我们设计并实现了的一个新颖的数据流异常检测系统RealMon,该系统能够准确地检测出电信网络中SNMP流量数据的异常情况。由于SNMP数据存在着较多数据质量问题,我们在设计过程中应用数据流清洗相关技术对流量数据进行实时清洗。该系统同时结合了数据流异常检测模块和数据流清洗模块,在已有的研究工作中尚属首次,具有较强的实际应用价值。如今,该系统已成功地在模拟环境中,对SNMP流量数据中的异常情况进行实时监测。综上所述,我们在本文中研究了数据流中的异常检测问题,提出了数据流清洗模型和通过分析多条数据流关联性来查找多数据流异常的方法,并根据这些工作的研究成果,设计和实现了对电信流量数据进行实时分析和异常检测的系统RealMon。我们的研究成果具有较高的理论价值和实际应用价值。

论文目录

• 目录
• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 本文研究背景
• 1.1.1 数据流模型简介
• 1.1.2 数据流应用
• 1.2 数据流研究现状
• 1.2.1 数据流清洗概述
• 1.2.2 数据流异常检测概述
• 1.2.3 数据流处理系统概述
• 1.3 本文贡献
• 1.4 本文结构
• 第二章 数据流异常的分类
• 2.1 单数据流异常检测
• 2.1.1 统计函数值突变
• 2.1.2 匹配数据流异常模式
• 2.1.3 背离数据正常分布模型
• 2.2 多数据流异常检测
• 2.2.1 基于主成分分析的异常检测方法
• 2.2.2 基于离散傅立叶变化的异常检测方法
• 2.3 本章小结
• 第三章 基于多数据流关联性变化的异常检测方法
• 3.1 研究背景介绍
• 3.2 基于数据流编辑距离的异常检测方法
• 3.2.1 基于分段聚集近似法（PAA）的数据流转换方式
• 3.2.2 多数据流中编辑距离计算
• 3.3 实验分析
• 3.3.1 采用分段近似聚集进行数据转换
• 3.3.2 基于编辑距离的异常检测
• 3.4 本章小结
• 第四章 数据流清洗
• 4.1 数据流清洗背景介绍
• 4.2 数据流清洗框架
• 4.3 数据流清洗关键技术研究
• 4.3.1 数据缺失填补
• 4.3.2 时间规整
• 4.4 实验分析
• 4.4.1 模拟数据实验
• 4.4.2 真实数据实验
• 4.5 本章小结
• 第五章 RealMon:处理低质量数据流的实时监测系统
• 5.1 系统背景介绍
• 5.2 数据描述
• 5.2.1 SNMP数据特征
• 5.2.2 SNMP数据质量问题
• 5.3 系统设计和实现
• 5.3.1 系统结构
• 5.3.2 SNMP数据流清洗
• 5.3.3 SNMP流量数据异常检测
• 5.4 实验分析
• 5.5 本章小结
• 第六章 总结和展望
• 参考文献
• 致谢