网络告警动态加权关联规则挖掘算法的研究和实现

论文摘要

在通信网管理中,故障管理是一个重要且难度很大的任务,而故障管理的关键和难点是故障诊断,它依赖于故障诊断的相关知识,尤其是告警信息与故障的关联知识。这些知识可来源于对网络产生的大量告警信息的分析,因而故障诊断是告警信息分析的目的,而对告警进行分析是实现故障诊断的必经途径。目前在电信故障管理中对告警流的处理主要是采用告警关联系统,它是用于分析告警数据的专家系统。然而通信网本身的复杂性以及动态变化的特点导致获取必要的知识来为某个特定网络构建一个告警关联系统是十分困难的。本文以国家自然科学基金项目《基于数据挖掘的通信网告警相关性分析》为背景,重点研究了网络告警加权关联规则挖掘,包括告警预处理、关联规则增量挖掘、频繁告警序列的加权处理、规则的搜索算法以及网络告警关联规则挖掘系统的仿真验证。本文提出了告警预处理系统包括告警信息的整理与提取、告警时间同步处理和告警清洗的功能。告警信息的整理与提取将告警中有用的、能够反映故障特征的告警属性字段提取出来并整理成形式简单、利于进行数据挖掘的告警事务项。引入了时间窗口和滑动步长的概念来进行告警时间同步处理,一个时间窗口内的告警看作是告警事务数据库中的一个告警事务。通过告警压缩的方法可以清除同一告警事务内的冗余告警信息。最后提出了告警数据的清洗对挖掘过程产生的积极意义。告警关联规则挖掘以及增量更新是该系统的核心。本文在现有的关联规则挖掘算法的基础上,针对网络告警具有告警信息量大、告警具有时间流动的动态特性等特点提出了一种基于枚举树的告警关联规则挖掘算法,提高了数据增量更新的挖掘效率,为网络故障的及时处理提供了一条有效的解决途径。更重要的是,该算法采取逐一枚举频繁项的思想为接下来的各种加权提取算法提供了发挥的空间。告警频繁项的加权处理是要将数据挖掘中的频繁项概念结合到网络告警相关性分析的具体实践中。文章重点阐述了拓扑加权算法,该算法结合网络告警设备的拓扑特征,使得加权的告警序列更具可读性。最后提到如何将加权算法集成到枚举树算法中。在规则后处理算法的讨论中,文章创新性的提出了一种基于规则前件的搜索算法,递归的使用树形结构查找出以固定的加权频繁告警项作为前件的所有告警关联规则,为全面分析告警关联提供有力工具。本文在实现了网络告警关联规则挖掘系统后,通过模拟产生网络告警数据对系统进行了仿真验证并对结果对比分析。仿真结果充分证明了该系统对于告警关联分析的实用性。

论文目录

• 中文摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景和意义
• 1.2 课题来源
• 1.3 国内外研究现状和发展趋势
• 1.4 本文主要工作及创新点
• 1.5 论文章节安排
• 第二章 网络告警相关性分析与数据挖掘
• 2.1 通信网故障管理机制
• 2.1.1 概述
• 2.1.2 告警数据管理
• 2.2 网络告警相关性分析与方法
• 2.2.1 告警相关性分析的意义
• 2.2.2 告警相关性的定义
• 2.2.3 告警相关性的类型
• 2.2.4 告警相关性分析的方法
• 2.3 告警关联规则挖掘
• 2.3.1 关联规则定义
• 2.3.2 关联规则挖掘的任务
• 2.3.3 关联规则挖掘的算法
• 2.4 关联规则挖掘在通信网中的应用
• 2.5 小结
• 第三章 通信网告警关联规则挖掘系统的研究
• 3.1 系统整体部署
• 3.2 告警预处理模块的设计
• 3.2.1 告警预处理的总体目标
• 3.2.2 时间同步和告警聚集的处理
• 3.2.3 告警信息的提取和冗余处理
• 3.3 具有动态加权特性的关联规则更新算法
• 3.3.1 概述
• 3.3.1.1 问题的提出
• 3.3.1.2 相关工作
• 3.3.2 权值的确定
• 3.3.3 基于枚举树的关联规则增量更新算法
• 3.3.3.1 经典关联规则更新算法
• 3.3.3.2 E-tree 算法
• 3.3.3.3 E-tree 增量更新过程
• 3.4 告警频繁项的后处理
• 3.4.1 在E-tree 中提取加权频繁集
• 3.4.2 拓扑加权TW 算法
• 3.5 告警关联规则的后处理过程
• 3.5.1 加权关联规则存在的问题
• 3.5.2 基于固定前件的关联规则搜索算法
• 3.6 小结
• 第四章 告警关联系统的性能分析与实现
• 4.1 告警数据的准备工作
• 4.1.1 告警数据的的选择
• 4.1.2 告警数据的采集
• 4.2 系统的算法性能分析及比较
• 4.2.1 告警数据的预处理过程
• 4.2.2 Etree 算法及其更新算法的验证
• 4.2.3 告警频繁项的后处理过程的分析
• 4.2.3.1 有效性
• 4.2.3.2 正确性
• 4.2.4 规则搜索算法的性能分析
• 4.3 系统的UI 设计
• 4.4 小结
• 第五章 结论与展望
• 致谢
• 参考文献
• 个人简历
• 攻读硕士学位期间的研究成果