基于聚类的增量支持向量机动态构造方法研究

论文摘要

高速连续产生数据的数据流使得需要对原始数据集进行多次扫描挖掘的传统方法变得力不从心。如何应用结构简单、具有全局最优、推广能力强且应用最广泛技术之一的支持向量机在数据流上进行高效数据挖掘成为目前的研究热点问题,其自身的计算复杂性成为处理大规模数据时的“瓶颈”问题。本文针对数据流上应用支持向量机进行增量式挖掘这一问题,在分析研究统计学习理论与支持向量机方法的基础上,针对数据流数据挖掘的特点,研究了支持向量机增量学习方法,提出一种基于聚类的增量支持向量机的动态构造方法。该方法利用K-Means聚类分析方法调整增量学习算法中的训练样本集,达到减小同一个样本集中的样本分布差异同时增大不同样本集之间的样本分布差异,使在动态的数据流上数据特性更加明显,从而提高算法的性能。其次,分析了现有分类器融合算法不适合多支持向量机分类器融合的原因,提出一种基于聚类划分的多支持向量机分类器的融合算法,将那些被某些分类器正确分类但被某些分类器错误分类的样本挑选出来单独处理,借鉴C-MCC方法的构造过程,利用聚类的结果对特征空间进行划分,并统计分类器的性能,最后选择在该划分中性能最佳的分类器作为系统的输出。仿真实验的结果表明,本文给出的基于聚类的增量支持向量机动态构造算法在分类性能上要优于传统的w-model增量学习算法,在此基础上提出的基于聚类划分的多支持向量机分类器融合算法在融合精度上优于投票法、K-NN法以及C-MCC等方法。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 选题背景与研究意义
• 1.2 研究内容
• 1.3 国内外研究现状
• 1.4 论文组织结构
• 第2章 相关技术
• 2.1 机器学习理论
• 2.1.1 机器学习定义
• 2.1.2 任务与评价标准
• 2.2 统计学习理论
• 2.2.1 经验风险最小化
• 2.2.2 学习一致性
• 2.2.3 Vapnik-Chevonenkis维理论
• 2.2.4 结构风险最小化
• 2.3 支持向量机概述
• 2.3.1 支持向量机
• 2.3.2 最优超平面
• 2.3.3 支持向量
• 2.4 支持向量机变形算法
• 2.4.1 C-SVM算法
• 2.4.2 γ-SVM算法
• 2.4.3 One-ClassSVM算法
• 2.4.4 LS-SVM算法
• 2.5 本章小结
• 第3章 支持向量机增量学习算法
• 3.1 数据流
• 3.1.1 数据流概念及其特点
• 3.1.2 数据流挖掘
• 3.2 增量学习
• 3.3 支持向量机增量学习
• 3.3.1 支持向量机增量学习思想
• 3.3.2 支持向量机增量学习算法
• 3.4 本章小结
• 第4章 基于聚类的增量支持向量机动态构造方法
• 4.1 聚类分析方法
• 4.2 增量支持向量机动态构造方法
• 4.2.1 w-model增量学习方法及其改进策略
• 4.2.2 基于聚类的增量支持向量机动态构造算法
• 4.2.3 基于聚类划分的多支持向量机分类器选择算法
• 4.3 仿真实验与算法性能分析
• 4.4 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间发表的论文和取得的科研成果
• 致谢