基于支持向量机的特征增量学习算法研究

论文摘要

具有增量学习功能的数据分类技术正逐渐成为当前信息处理的关键技术之一。与传统的数据分类技术相比,增量学习分类技术具有显著的优越性。这主要表现在两个方面:一方面由于其无需保存历史数据,从而减少存储空间的占用;另一方面增量学习在当前的样本训练中充分利用了历史的训练结果,从而显著地减少了后续训练的时间。基于支持向量机的增量学习在国内外引起广泛的关注。在深入分析了支持向量机的性能依赖于核函数的选择后,提出了一种拟合给定训练样本最优核的算法。针对新采集的样本中包含相同维数的新增特征的情形,提出了基于最小二乘支持向量机的特征增量学习算法。针对新采集的样本中包含不同维数的新增特征的情形,提出了增量式边缘最大化学习算法。本文工作的主要贡献和创新总结如下:1.提出了一种构造给定训练样本最优核的算法。根据最优核的构造理论,对于给定的训练样本,最优核由基本核的有限凸组合构成。该算法利用训练样本的单个特征作为基本核并利用这些基本核的凸组合来构造最优核。2.提出了基于最小二乘支持向量机的增量特征学习算法来处理后采集的样本含有新增特征且新增特征的维数相同的情形。该算法利用先前训练的结构参数,仅对后采集的新增特征采用最小二乘支持向量机进行训练。实验结果表明:该算法在节省训练时间的同时,能取得与标准最小二乘支持向量机相当或更好的分类正确率。3.提出了增量式缺失特征的边缘最大化学习算法来处理后采集的样本含有新增特征且新增特征维数不同的情形。该算法利用原有特征训练的结构参数,仅对后采集的不同维的新增特征采用边缘最大化学习算法进行训练。实验结果表明,随着缺失比率和后采集的特征维数的增加,增量式缺失特征的边缘最大化学习算法表现出更好的分类性能。论文中实验数据来自机器学习公共数据集UCI,在Matlab R2007a环境下对提出的算法进行了实验,并对实验结果进行了详细分析。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 研究现状
• 1.3 研究内容及创新
• 1.4 论文结构
• 第二章 支持向量机理论
• 2.1 引言
• 2.2 机器学习的基本方法
• 2.2.1 学习问题的一般表示
• 2.2.2 经验风险最小化原则
• 2.2.3 模型复杂度与推广能力
• 2.3 统计学习理论的基本思想
• 2.3.1 VC 维
• 2.3.2 泛化误差的界
• 2.3.3 结构风险最小化原理
• 2.4 支持向量机
• 2.4.1 线性支持向量机
• 2.4.2 非线性支持向量机
• 2.5 基于支持向量机的增量学习
• 2.5.1 SVM 增量学习描述
• 2.5.2 SVM 增量学习算法
• 2.5.3 SVM 增量学习算法存在的缺陷
• 2.6 小结
• 第三章 核函数的选择研究
• 3.1 引言
• 3.2 核函数的基本理论
• 3.2.1 核函数的性质
• 3.2.2 从核函数中构造核函数
• 3.3 最优核函数
• 3.3.1 四种常见的核函数
• 3.3.2 最优核函数
• 3.4 小结
• 第四章 基于最小二乘支持向量机的特征增量学习算法
• 4.1 引言
• 4.2 增量学习问题描述
• 4.2.1 相关工作
• 4.2.2 现有增量算法面临的问题
• 4.3 最小二乘支持向量机
• 4.4 特征增量学习算法
• 4.5 实验模拟及分析
• 4.5.1 实验模拟
• 4.5.2 结果分析
• 4.6 小结
• 第五章 增量式边缘最大化学习算法
• 5.1 引言
• 5.2 问题描述与相关工作
• 5.2.1 问题描述
• 5.2.2 相关工作
• 5.3 边缘最大化学习算法
• 5.3.1 问题描述
• 5.3.2 研究动机
• 5.3.3 几何间隔
• 5.4 求解算法
• 5.4.1 实例间距的求解算法
• 5.5 实验模拟与结果分析
• 5.5.1 实验模拟
• 5.5.2 结果分析
• 5.6 小结
• 第六章 结束语
• 致谢
• 参考文献
• 作者在学期间取得的学术成果