基于不同属性数据流的离群数据挖掘算法的研究

论文摘要

对国内外数据流离群数据挖掘研究情况分析可知,以往的挖掘算法还存在诸多问题。多数离群数据挖掘方法往往忽略了混合属性数据流的分类属性;简单的分类属性数据流离群数据挖掘由于没有采用合理的加权思想,挖掘出的离群数据偏差较大。这些问题的研究对金融欺诈检测、网络入侵检测、以及天气预报等风险控制领域具有重要的意义。文中首先提出了一种混合属性数据流离群点检测算法HDSOD,引入聚类参考存储数据流的概要信息,先对数据流进行分区,对于每一分区进行聚类,将聚类结果存储于聚类参考中,充分利用聚类参考的存储信息计算其代表度,以及与其相邻的聚类参考的个数,判断该聚类参考是否为离群参考对象,离群参考对象所代表样本点为可能的离群点。该算法在有限内存中有效的对混合属性数据流进行离群点检测。其次,提出了分类属性数据流的离群数据挖掘方法CFPOD-Stream。该算法定义了加权闭合频繁模式离群因子,通过动态发现和维护频繁闭项集来计算离群度,采用带有衰减因子的查询索引结构来处理数据的概念转移现象,有效地检测出离群数据。最后,将离群数据挖掘方法应用于软件漏洞分析,该算法对算法CFPOD-Stream进行改进,发现与离群事务相偏离的闭合频繁项集,用以解释其软件漏洞发生不频繁的原因。本课题使用C++语言对上述算法进行实现,使用现实数据集KDD-CUP-99和仿真数据集对文中提出的算法进行测试,通过对不同处理结果的对比分析,所提出的算法在解决各自的问题上是有效的。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 数据挖掘技术
• 1.1.1 数据挖掘研究背景
• 1.1.2 数据流挖掘的研究背景
• 1.2 离群数据挖掘研究背景
• 1.2.1 离群点挖掘的内容
• 1.2.2 离群数据挖掘的研究现状
• 1.3 课题研究内容
• 1.4 文章组织结构
• 第2章 混合属性数据流的离群数据挖掘算法
• 2.1 引言
• 2.2 数据流中离群数据挖掘的思想
• 2.3 基于K 中心点的数据流聚类
• 2.4 问题定义
• 2.4.1 聚类参考
• 2.4.2 距离的计算
• 2.4.3 离群点参考对象
• 2.5 混合属性数据流的离群数据挖掘算法的设计
• 2.5.1 划分聚类算法
• 2.5.2 HDSOD 算法设计
• 2.6 算法分析
• 2.7 本章小结
• 第3章 分类属性数据流的离群数据挖掘算法
• 3.1 引言
• 3.2 滑动窗口模式
• 3.3 挖掘任务的过程
• 3.4 问题定义
• 3.5 分类属性数据流的离群数据挖掘算法设计
• 3.6 实例分析
• 3.7 算法分析
• 3.8 本章小结
• 第4章 离群数据挖掘在软件漏洞分析中的应用
• 4.1 引言
• 4.2 问题定义与描述
• 4.2.1 漏洞程序操作序列
• 4.2.2 相关定义
• 4.3 基于离群数据挖掘的软件漏洞分析方法
• 4.3.1 算法CFPOD 的设计
• 4.3.2 分析离群的软件漏洞
• 4.4 实例分析
• 4.5 算法分析
• 4.6 本章小结
• 第5章 算法实验分析
• 5.1 数据集的来源
• 5.2 HDSOD 算法的实验
• 5.2.1 数据集和参数的设置
• 5.2.2 实验结果分析
• 5.3 CFPOD-STREAM 算法的实验
• 5.3.1 数据集和参数的设置
• 5.3.2 实验结果分析
• 5.4 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间承担的科研任务与主要成果
• 致谢
• 作者简介