孤立点挖掘及其内涵知识发现的研究与应用

论文题目: 孤立点挖掘及其内涵知识发现的研究与应用

论文类型: 硕士论文

论文专业: 计算机软件与理论

作者: 陆声链

导师: 林士敏

关键词: 孤立点,异常挖掘,频繁项集,例外规则,教务管理系统

文献来源: 广西师范大学

发表年度: 2005

论文摘要: 孤立点挖掘又称孤立点分析、异常检测、例外挖掘、小事件检测、挖掘极小类、偏差检测。孤立点可能是“脏数据”,也可能是与实际对应的有意义的事件。从知识发现的角度看,在某些应用里,那些很少发生的事件往往比经常发生的事件更有趣、也更有研究价值。因此,异常数据的检测和分析是一项重要且有意义的研究工作。本文的主要工作可以概括为以下五个方面: (1)从孤立点挖掘的现实意义、算法、应用领域、挖掘工具、算法的评价等各个方面对孤立点挖掘问题进行了综述。(2)针对基于距离的方法需要设置阈值的不足,本文提出了一个新的孤立点定义,通过对象与数据集中所有其它对象的距离之和来判别异常,从而有效解决了算法需要设置最近邻参数p 或者k 的问题。为提高算法的效率,设计了基于抽样的近似检测算法。真实数据集上的实验表明该定义与DB(p,d)孤立点定义有相同的结果,同时给出了数据对象在数据集中的孤立程度,降低了阈值设置对用户的要求。(3)对分类、多维数据中的局部异常检测问题进行了研究,基于属性值的频数差异性理论给出了一个新的异常定义,并提出了判断异常显著性的异常存在判别准则,实验结果表明,该判别准则可有效去除大量异常程度并不显著的对象。文章从检测结果的有趣性、与同类算法的比较、对提高分类准确率的贡献和检测小类的能力四个方面对算法的有效性进行了评价。(4)实现了一个异常检测实验平台SOD(Smart Outlier Detection),其中集成了所提出或改进的算法,为异常检测提供了一个分析工具。所提供的数据接口能够从多个外部数据源获取数据,增强了平台的实用性,现已集成到某高校的教务管理系统中进行测试。(5)结合教务管理系统的特点,探讨了在教务管理系统中使用异常检测的必要性,并就实际需求给出了应用实例。 本文的研究目的是构建一个从真实数据中检测异常数据及发现其内涵知识的实验平台,主要包括有机结合的五个方面:消除阈值设置的基于距离和的近似算法;针对分类数据、高维数据的异常检测算法;为有效发现异常中的内涵知识的例外规则挖掘算法;针对子序列长度相等的静态时间序列数据中的异常挖掘算法;集成了以上几种算法的实验平台。异常检测的最终目的在于应用,本文对异常挖掘在教务管理系统中的应用进行了有益的探索。

论文目录:

中文摘要

Abstract

第一章 序言

1.1 研究背景

1.2 本文的主要内容和结构框架

1.3 本文研究的意义

第二章 数据挖掘与异常检测综述

2.1 数据挖掘

2.2 异常检测综述

2.3 小结

第三章 基于距离和的孤立点检测

3.1 基于距离的孤立点检测

3.2 基于距离和的孤立点检测

3.3 实验设计

3.4 本章小结

第四章 分类属性空间上的异常检测

4.1 相关工作

4.2 问题描述和定义

4.3 算法分析与设计

4.4 相关问题

4.5 实验设计

4.6 结论与展望

第五章 FMER:快速发现例外规则算法

5.1 背景知识和问题描述

5.2 算法分析与设计

5.3 实验结果及分析

第六章 基于线性形态的时间序列异常挖掘

6.1 问题描述

6.2 时间序列的线性化

6.3 一种新的基于线性形态的异常挖掘算法

第七章 异常检测实验平台SOD 简介

7.1 设计思想

7.2 SOD 的体系结构和功能模块

7.3 本章小结

第八章 异常挖掘在教务管理系统中的应用研究

8.1 教务管理系统中的孤立点分析

8.2 应用实例

8.3 小结

总结与展望

参考文献

致谢

读研期间撰写的学术论文

发布时间: 2005-11-04

参考文献

• [1].基于KD-Tree的KNN沙尘孤立点监测算法的研究与应用[D]. 刘开云.河南大学2018
• [2].孤立点检测在医疗处方异常分析中的应用[D]. 张焕毫.云南大学2017
• [3].基于数据挖掘的大规模网络异常检测方法研究[D]. 胡惠敏.西安电子科技大学2018
• [4].频繁项集挖掘算法的研究与应用[D]. 王婷.中北大学2019
• [5].基于频繁项集挖掘的2FP-Forest算法及其并行化处理研究[D]. 王泽儒.长春工业大学2019
• [6].基于差分隐私的频繁项集挖掘算法的研究与实现[D]. 熊馨雨.深圳大学2018
• [7].基于频繁项集的HDFS小文件存取方法研究[D]. 刘露.沈阳工业大学2019
• [8].并行频繁项集挖掘算法研究[D]. 何镇宏.四川师范大学2018
• [9].数据流频繁项集挖掘算法研究[D]. 牛晨晨.兰州财经大学2018
• [10].基于Spark的并行频繁项集挖掘算法研究及应用[D]. 杜斐阳.华中师范大学2018

相关论文

• [1].数据挖掘中聚类和孤立点检测算法的研究[D]. 杨兰仓.山东大学2008
• [2].孤立点挖掘技术在异常检测中的应用研究[D]. 吴楠楠.厦门大学2007
• [3].聚类与孤立点检测算法的研究和实现[D]. 刘俊岭.中国科学院研究生院（沈阳计算技术研究所）2006
• [4].基于孤立点的数据挖掘研究及其在计算机审计系统中的应用[D]. 廖轶.北京交通大学2007
• [5].孤立点挖掘技术在入侵检测中的应用研究[D]. 孟浩.大连海事大学2007
• [6].基于网格的聚类算法和孤立点技术的研究[D]. 张长.郑州大学2007
• [7].基于孤立点的数据挖掘研究及其在税务决策系统中的应用[D]. 何瑞霞.山东科技大学2005
• [8].基于距离的聚类和孤立点检测算法研究[D]. 尚俊平.郑州大学2005
• [9].孤立点挖掘在入侵检测中的应用研究[D]. 王秀琼.重庆大学2005
• [10].基于K-距离的孤立点和聚类算法研究[D]. 贾晨科.郑州大学2006

标签：孤立点论文;  异常挖掘论文;  频繁项集论文;  例外规则论文;  教务管理系统论文;