基于子空间的离群数据挖掘算法研究及应用

论文摘要

离群数据挖掘是数据挖掘中的主要研究内容之一,通过离群数据挖掘,能够发现一些真实的、但又出乎人们意外的知识,因而引起了广大研究者的兴趣。传统的离群数据挖掘方法大多数是利用全局的观点看待离群数据,很难发现低维子空间中的偏移数据,而且很难直接应用到高维数据集中。本文先把高维子空间划分为低维子空间,对低维子空间中偏离数据（即:离群数据）挖掘算法进行了较深入的研究。主要研究工作如下:（1）给出了一种基于微粒群和子空间的离群数据挖掘算法。该算法首先将子空间看作微粒,根据偏离数据所在子空间的稀疏系数,采用带有变异算子的微粒群算法PSO来搜索子空间,并将子空间中的数据看作为局部偏离数据,即离群数据。最后,采用离散化的天体光谱数据作为数据集,实验结果验证了算法的有效性。（2）给出了一种基于子空间划分的局部离群数据挖掘算法。该算法首先将数据集划分为互不相交的子空间,利用偏斜度来度量子空间划分的优劣,并采用微粒群算法搜索最优划分子空间集;其次针对每个最优划分子空间,计算其数据对象的局部离群因子SPLOF值,并将SPLOF值作为度量数据对象的局部偏离程度。最后采用离散化的天体光谱数据作为数据集,实验验证了该算法具有不依赖于用户输入的参数、伸缩性强和运算效率高等优点。（3）在上述研究的基础上,以VC++和Oracle9i为开发工具,设计并实现了基于子空间的离群挖掘原型系统,并对软件功能模块及关键技术进行了详细描述。

论文目录

• 中文摘要
• ABSTRACT
• 第一章 引言
• 1.1 数据挖掘技术概论
• 1.1.1 数据挖掘的产生
• 1.1.2 数据挖掘的过程
• 1.1.3 数据挖掘的分类
• 1.1.4 数据挖掘的任务
• 1.2 数据挖掘的应用
• 1.3 论文研究内容与组织
• 1.3.1 研究内容
• 1.3.2 论文组织
• 第二章 子空间、离群数据及微粒群
• 2.1 子空间
• 2.2 离群数据挖掘方法
• 2.2.1 基于统计的离群检测算法
• 2.2.2 基于距离的离群检测算法
• 2.2.3 基于深度的离群检测算法
• 2.2.4 基于偏离的离群检测算法
• 2.2.5 基于聚类的离群检测算法
• 2.2.6 局部离群数据检测算法
• 2.2.7 离群数据当前研究热点
• 2.3 基本微粒群算法
• 2.3.1 算法原理
• 2.3.2 算法流程
• 2.4 小结
• 第三章 基于微粒群和子空间的离群数据挖掘算法
• 3.1 引言
• 3.2 基于PSO 的子空间离群数据挖掘
• 3.2.1 子空间中的离群数据
• 3.2.2 子空间中的PSO 算法结构
• 3.2.3 子空间中的PSO 算法及分析
• 3.3 实验分析
• 3.4 小结
• 第四章 基于子空间划分的局部离群数据挖掘算法
• 4.1 引言
• 4.2 相关工作分析
• 4.3 子空间划分结构
• 4.3.1 数据集的划分
• 4.3.2 划分偏斜度、最优划分
• 4.3 子空间中的离群数据
• 4.4 基于子空间划分的局部离群数据挖掘算法
• 4.4.1 BruteFore-SPLOF
• 4.4.2 搜索最优子空间划分的PSO 结构
• 4.4.3 PSO-SPLOF 算法
• 4.5 实验分析
• 4.6 小结
• 第五章 基于子空间的离群数据挖掘系统
• 5.1 引言
• 5.2 系统功能模块
• 5.3 关键技术
• 5.4 运行结果分析
• 5.4.1 生成最优化分
• 5.4.2 OM-PSO 算法挖掘离群数据
• 5.4.3 PSO-SPLOF 算法挖掘离群数据
• 5.5 小结
• 第六章 总结与展望
• 6.1 总结
• 6.2 展望
• 参考文献
• 研究生期间发表的论文及参加的科研项目
• 致谢
• 作者简介