聚类分析和离群点识别技术研究及其应用

论文摘要

离群点识别和聚类分析是数据挖掘研究的重要方面,基于离群点分析的各种数据挖掘算法的研究已经成为研究热门方向。但是目前大多数的离群点分析算法只是针对于静态数据集的操作,对于动态数据集一般采取对整个数据集重新进行离群点分析的方式,因此随着数据量的不断增大以及对数据集实时数据挖掘的需求不断加大,增量式离群点分析技术正越来越引人关注。本文首先总结、探讨关于数据挖掘、离群点分析、聚类算法以及计算机审计等方面取得的已有主要研究成果,并详细阐释了基于密度的聚类算法DBSCAN和基于密度的离群点识别算法LOF的主要思想、算法流程,并在此基础上,提出了基于局部密度的增量式离群点识别算法IncrementalLOF,并结合社会保障联网审计系统（N-SAS）,通过实验验证了LOF与IncrementalLOF在离群点分析结果上的一致性,和IncrementalLOF在大数据量环境下更加卓越的性能,以及IncrementalLOF能对所提供的数据进行挖掘,得出一些反常的、隐藏在大数据后的有违规缴费等可能的信息,为社保审计提供可靠依据,提高审计工作效率,规范社会保险业务,减少社会保险金欺诈等。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题背景
• 1.2 课题研究的目的和意义
• 1.3 国内外研究现状
• 1.3.1 计算机审计研究现状
• 1.3.2 数据挖掘研究现状
• 1.5 本文的主要内容和组织结构
• 第2章 聚类分析和离群点识别
• 2.1 数据挖掘
• 2.2 KDD及其步骤
• 2.3 数据挖掘的方法和技术
• 2.3.1 数据挖掘的方法
• 2.3.2 数据挖掘的技术
• 2.4 聚类方法
• 2.4.1 划分方法
• 2.4.2 层次方法
• 2.4.3 基于网格的方法
• 2.4.4 基于模型的方法
• 2.4.5 基于密度的聚类
• 2.5 离群点识别方法
• 2.6 本章小结
• 第3章 一种基于密度的增量式局部离群点识别算法
• 3.1 基于密度的局部离群点识别算法
• 3.1.1 局部离群点识别的必要性
• 3.1.2 局部离群点的识别
• 3.2 基于密度的典型聚类算法
• 3.2.1 DBSCAN算法思想
• 3.2.2 DBSCAN算法相关概念
• 3.2.3 DBSCAN算法过程和缺点
• 3.3 基于密度的增量式局部离群点识别算法
• 3.3.1 算法思想
• 3.3.2 初始化数据集聚类阶段
• 3.3.3 增量聚类阶段
• 3.3.4 增量数据离群点分析
• 3.4 性能分析
• 3.4.1 算法的正确性
• 3.4.2 算法的可行性
• 3.4.3 时间复杂度
• 3.5 实验结果
• 3.6 本章小结
• 第4章 增量离群点识别技术在社保审计中的应用
• 4.1 实现目的
• 4.2 算法的VC++ .NET实现
• 4.2.1 VC++ .NET简介
• 4.2.2 增量式离群点识别系统设计
• 4.2.3 数据选择
• 4.2.4 数据清理
• 4.2.5 实现初始数据集聚类与离群点识别
• 4.2.6 实现增量聚类与离群点识别
• 4.3 社保审计数据挖掘实验与结果分析
• 4.3.1 K值的选择
• 4.3.2 增量离群点识别
• 4.3.3 实验结果与N-SAS系统审计结果比较
• 4.4 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间发表的论文和取得的科研成果
• 致谢