隐含概念漂移的数据流分类算法研究

论文摘要

电信、网络等众多应用领域存在着大量的数据流,其具有快速性、连续性、多变性及无限性等特性。数据流中存在大量的有用信息,因而从数据流中挖掘出未知的、有价值的模式或规律将对网络安全、企业决策等产生重大影响。数据流挖掘技术的潜在应用是十分广泛的,从政府管理决策、商业经营决策和信息安全等很多领域都可以找到数据流挖掘技术的应用。然而,由于概念漂移现象的影响,使得经典的挖掘方法不再适用。因此,研究快速的、精确的、稳定的数据流挖掘系统具有较高的理论价值和应用前景。概念漂移的频度可以看作是概念漂移中部分概念重现次数,本文研究了基于频度的概念漂移的特点,以及低频概念对分类时空性能的影响,提出对基于频度的概念漂移进行检测的算法和对其中的低频概念进行消减的算法LFCR。本文主要研究内容如下:(1)概述了数据流挖掘产生与发展,分析了相关算法及存在的问题。(2)研究了经典的分类算法,分析了数据流分类所面临的问题。分析了概念漂移对数据流分类的影响,对适合于隐含概念漂移的数据流分类算法进行研究,并对其所存在的问题进行探讨。(3)针对基于频度的概念漂移的特点提出对基于频度的概念漂移进行检测的算法,以便利用概念变换的规律来对发生漂移的概念进行预测,从而提高分类的时间性能。(4)分析了基于频度的概念漂移中低频概念对分类时空性能的影响,设计了消减其中低频概念的算法LFCR。实验表明了LFCR算法具有良好的时间性能。

论文目录

• 摘要
• Abstract
• 致谢
• 第一章 绪论
• 1.1 数据挖掘的产生
• 1.2 数据流技术
• 1.3 本文的组织结构
• 1.4 本章小结
• 第二章 数据挖掘
• 2.1 数据库中知识发现
• 2.2 数据挖掘
• 2.3 数据流挖掘
• 2.4 数据流分类
• 2.5 数据流聚类
• 2.6 数据流频繁模式挖掘
• 2.7 WEB挖掘
• 2.8 文本挖掘
• 2.9 本章小结
• 第三章 数据流分类算法
• 3.1 数据分类
• 3.2 传统的分类算法
• 3.3 数据流分类所面临的问题
• 3.4 适合隐含概念漂移的数据流上的分类算法
• 3.4.1 概念漂移问题
• 3.4.2 隐含概念漂移的数据流上的分类算法研究
• 3.5 本章小结
• 第四章 基于频度的概念漂移的检测
• 4.1 数据流分类中概念漂移的主要形式
• 4.2 基于频度的概念漂移的检测方法
• 4.2.1 基于频度的概念漂移的特征
• 4.2.2 基本分类算法
• 4.2.3 触发器检测算法
• 4.2.4 概念的等价性度量算法
• 4.2.5 概念频度检测模型
• 4.3 实验结果与分析
• 4.4 本章小结
• 第五章 概念漂移中低频概念的消减
• 5.1 数据流分类中基于频度的概念漂移的特点
• 5.2 低频概念对分类性能的影响
• 5.3 低频概念的消减
• 5.3.1 低频概念的消减算法LFCR的基本组成
• 5.3.2 低频概念消减算法
• 5.3.3 低频概念消减前后系统时空性能的比较
• 5.4 实验结果与分析
• 5.5 本章小结
• 第六章 总结与展望
• 6.1 总结
• 6.2 展望
• 参考文献
• 读研期间发表的论文