面向审计领域的聚类离群点检测研究

论文摘要

离群点检测又称小事件检测、偏差检测等。在某些应用中,那些小概率发生的事件往往比经常发生的事件更有趣、更有研究价值。聚类算法实质是将数据集中的数据进行分组,使得同一组内的数据尽可能相似而不同组内的数据尽可能不同。以往的有些聚类算法,只是将离群点检测作为聚类过程的副产品,使一些重要信息丢失；而在离群点挖掘时,只注重离群点检测,不关注数据的分布情况,使得离群点分析难度加大,甚至使一些离群点失去了其实际的应用价值。如将离群点挖掘与聚类分析算法有机的结合,可以更准确的了解数据分布情况。审计方法的好坏直接影响着审计结果的质量,动态监测指标直接影响着审计的时效。传统的审计方法往往是由审计专家的经验和政策法规构建的,这存在着多处不足。利用数据挖掘技术在海量的审计数据中挖出对构建审计方法和提炼动态监测指标提供决策依据的数据,此项工作具有理论和实际意义。本文提出DBSCANLOF算法,将DBSCAN的核心对象判定融合到LOF算法中,并重新定义核心对象、增加了k-邻域半径的概念。该算法不但以k-近邻这个概念将聚类算法和离群点算法有机的结合起来,还打破了传统基于聚类的离群点检测算法离群点检测结果受聚类结果的影响、降低了DBSCAN对参数的敏感性及数据空间分布不均匀对聚类结果的影响,并且可以在快速聚类的同时检测离群点。通过多种数据集,比较DBSCANLOF算法与原有一些算法在聚类效果和时效上的差异。然后以社会保障审计数据作为实验数据,对审计数据中复合数据类型数据、不同意义的数值型数据的预处理研究；并利用DBSCANLOF进行实验验证,实现对审计方法构建提供决策依据数据的挖掘功能。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景和意义
• 1.2 研究现状
• 1.2.1 聚类、离群点检测技术
• 1.2.2 计算机审计
• 1.3 主要研究内容
• 1.4 论文结构安排
• 第2章 相关概念和理论
• 2.1 数据挖掘概述
• 2.2 离群点检测技术
• 2.2.1 基于统计离群点检测
• 2.2.2 基于近邻度的离群点检测
• 2.2.3 基于密度的局部离群点检测
• 2.2.4 基于聚类的离群点检测
• 2.3 聚类分析简介
• 2.3.1 数据相似关系
• 2.3.2 聚类方法
• 2.3.3 具有噪音识别的聚类算法
• 2.4 本章小结
• 第3章 聚类离群点挖掘DBSCAN LOF算法
• 3.1 DBSCAN研究分析
• 3.1.1 DBSCAN算法描述
• 3.1.2 算法复杂度分析
• 3.1.3 算法有效性分析
• 3.2 LOF研究分析
• 3.2.1 LOF算法描述
• 3.2.2 算法有效性、复杂度分析
• 3.3 DBSCAN LOF算法
• 3.3.1 DBSCAN LOF算法描述
• 3.3.2 算法有效性、复杂度分析
• 3.4 实验分析
• 3.5 本章小结
• 第4章 聚类离群点检测在审计领域中的应用
• 4.1 应用于社保审计的意义
• 4.2 算法审计应用模型
• 4.2.1 审计数据的获取及清理
• 4.2.2 审计数据的数据选择
• 4.2.3 混合数据类型的预处理
• 4.2.4 审计方法发现过程
• 4.3 社保审计数据挖掘实验与结果分析
• 4.4 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间发表的论文和取得的科研成果
• 致谢