基于样本几何估计值的支持向量机研究

论文摘要

随着各行各业的发展,数据挖掘正在更广泛地应用于存在着大量数据的地方,如银行,保险等行业。而大量的数据只是存放在那里,并没有提供有用的信息,此外若是人工地去分析这些数据会非常地费时,这就越来越需要有效的手段和方法,快速地从大量的数据中获取有价值的信息。而这就是数据挖掘的主要任务。本文首先介绍了数据挖掘的研究和应用背景。由于本文主要研究的是分类方法中的支持向量机,因而介绍了支持向量机的基本概念,以及支持向量机的基本分类和预测原理,并详细分析了一些支持向量机相关的典型算法及其优缺点。为求解随后的支持向量机问题即带有约束的问题奠定基础,分析了求解无约束问题的一些典型算法。在此基础上,针对国内外的支持向量机算法进行了在分类性能的高低,训练时间的长短等方面的对比和分析。在分析了一些结合数据样本几何性质的相关支持向量机分类方法研究基础上,提出了一种新的基于样本几何估计值的支持向量机分类方法。首先利用数据样本的几何性质,提出样本几何估计值的概念,它较好并有效地反映了样本的几何性质,且计算简便。并由此形成新的求解支持向量机的目标函数与约束函数。并在数据样本线性与非线性可分的情况下,形成新的基于样本几何估计值的支持向量机。用乘子法进行求解,并进行了理论上的数学推导。最后用实验做出了相关性能的分析对比。实验表明,新的基于样本几何估计值的支持向量机分类方法有着较好的分类性能和较短的训练时间。特别地,当数据样本较多时,为了缩短支持向量机的训练时间,提出了新的基于样本几何估计值的支持向量机辅助分类策略。首先,结合样本的几何性质,提出样本整体偏离度的概念。其目的利用已经提出的几何估计值的概念来进行支持向量机的辅助分类,而不是单独提出辅助分类方法,较好地利用了样本本身的几何性质。解决了当数据样本较多时,支持向量机的训练时间较长的问题。同样地,通过实验来分析支持向量机的分类性能。实验表明,带有辅助分类策略的基于样本几何估计值的新支持向量机比已有相关的支持向量机分类方法有着更好的分类性能,更少的训练时间。这些方法的提出,不仅在理论上对于支持向量机的分类方法有了新的提高,而且对于实际的应用也起到了推进的作用。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 本文的研究背景
• 1.1.1 数据挖掘的介绍
• 1.1.2 数据准备
• 1.1.3 数据挖掘
• 1.1.4 结果分析
• 1.1.5 知识的同化
• 1.2 数据挖掘的应用
• 1.3 分类算法
• 1.4 本文的主要研究目的及意义
• 1.5 本文的主要内容结构
• 第2章 支持向量机介绍
• 2.1 支持向量机理论背景
• 2.2 支持向量机
• 2.3 支持向量机回归介绍
• 2.3.1 ε非敏感损失函数
• 2.3.2 二次损失函数
• 2.3.3 Huber 损失函数
• 第3章 无约束问题算法
• 3.1 相关无约束问题的概念
• 3.1.1 相关收敛性概念
• 3.1.2 无约束问题的下降算法的一般步骤
• k 的确定'>3.1.3 步长θ_k的确定
• 3.2 无约束问题算法
• 3.2.1 最速下降法
• 3.2.2 Newton 法及其修正法
• 3.2.3 拟Newton 法——BFGS 法
• 3.2.4 求解二次函数极小值问题——共轭梯度法
• 3.2.5 非线性共轭梯度法
• 第4章 支持向量机算法研究与分析
• 4.1 支持向量机的研究现状
• 4.2 各支持向量机算法的介绍及分析
• 4.2.1 块算法
• 4.2.2 固定工作样本集法
• 4.2.3 序列优化算法
• 4.2.4 LSVM 算法
• 4.2.5 最小二乘支持向量机算法
• 4.2.6 RSVM 算法
• 4.2.7 YiqingZhang 罚函数方法
• 4.2.8 FVS 方法
• 4.3 支持向量机的多类分类问题
• 4.3.1 一对多
• 4.3.2 一对一
• 4.3.3 其他多类分类方法
• 第5章 基于样本几何估计值的支持向量机
• 5.1 引言
• 5.2 基于样本点几何性质的研究
• 5.2.1 KNN 方法
• 5.2.2 马氏距离方法
• 5.2.3 k-means 算法
• 5.2.4 KiYoungLee 等人的方法
• 5.3 基于样本几何估计值的支持向量机
• 5.3.1 首先考虑线性可分的情形
• 5.3.2 在数据样本非线性可分的情形
• 5.4 乘子法来求解支持向量机问题
• 5.5 算法
• 5.6 实验及分析
• 5.7 总结
• 第6章 基于辅助分类策略的支持向量机
• 6.1 引言
• 6.2 基于辅助分类策略的支持向量机
• 6.2.1 首先考虑基本问题的情形
• 6.2.2 其次考虑支持向量机在非线性情况下的问题
• 6.3 辅助分类策略
• 6.4 用乘子法求解
• 6.5 算法
• 6.6 实验及分析
• 6.7 总结
• 结论
• 参考文献
• 致谢
• 附录A 攻读硕士期间所发表的学术论文目录