基于显露模式的流数据集成加权分类算法研究

论文摘要

近年来，随着证券交易、网络安全检测、电话通讯记录、无线传感网络等领域各种应用形式的不断出现，一种不断变化、连续到达且规模巨大的流式数据逐渐进入人们的视野，这即是流数据。流数据颠覆了数据库中传统静态的数据存在形式，它具有分布形态不断变化、数据元素连续到达等一系列不同于传统数据的特点，这使得流数据环境下的数据挖掘技术对挖掘算法提出了更高的要求。通过对流数据单分类器算法和集成分类算法进行比较，我们发现，流数据集成分类算法可以有效提高分类性能。进一步的研究指出，应用基本显露模式构建的单分类器算法可以取得很好的分类效果。基于上述研究，本文采用对多个流数据基分类器进行集成加权的方法来提高分类性能，并采用具有很好区分性能的基本显露模式来构建流数据集成分类算法的基分类器成员，最终提出了一种基于显露模式的流数据集成加权分类算法。在训练基分类器时，为了使基于eEPs的基分类器具有较好的分类性能，算法通过训练eEPs实现eEPs权值的自适应，确保当发生概念漂移时，基分类器可以快速收敛；在生成集成分类器时，通过在对基分类器加权之前首先对其进行模型更新，使得构造的集成分类器算法可以很好地反映数据分布特征和有效地适应概念漂移现象。实验结果表明，相同流数据环境下，本文算法分类精度略优于基于其他方法构建基分类器的集成分类算法；并且本文算法性能明显优于基于基本显露模式构建的单分类器算法。

论文目录

• 摘要
• Abstract
• 目录
• 插图索引
• 附表索引
• 第1章 绪论
• 1.1 数据挖掘概述
• 1.2 研究动机
• 1.3 本文研究内容及组织结构
• 第2章 流数据概述
• 2.1 什么是流数据
• 2.2 概念漂移问题
• 2.3 滑动窗口技术
• 2.4 流数据挖掘算法的特点
• 2.5 小结
• 第3章 流数据分类
• 3.1 分类概述
• 3.2 流数据分类方法应解决的问题
• 3.3 现有流数据分类技术
• 3.3.1 不能处理概念漂移的流数据分类方法
• 3.3.2 隐藏概念漂移的单分类器算法
• 3.3.3 隐藏概念漂移的随机决策树分类算法
• 3.3.4 隐藏概念漂移的集成分类算法
• 3.4 小结
• 第4章 基于显露模式的流数据集成加权分类算法
• 4.1 相关定义以及 eEPs 的优势
• 4.1.1 相关定义
• 4.1.2 eEPs 的优势
• 4.2 算法的基本思想
• 4.3 基于 eEPs 构造基分类器
• 4.3.1 最小支持度阈值和最小增长率阈值
• 4.3.2 eEPs 的挖掘
• 4.3.3 eEPs 权值自适应
• 4.3.4 基分类器的构造
• 4.4 基分类器的加权
• 4.5 流数据集成加权分类算法的生成
• 4.6 基于集成加权分类算法进行分类
• 4.6.1 基于基分类器进行分类
• 4.6.2 基于集成分类器进行分类
• 4.7 小结
• 第5章 实验与相关分析
• 5.1 实验环境与数据集
• 5.2 实验结果与相关分析
• 5.3 小结
• 结论
• 参考文献
• 致谢