基于尺度空间的SVM核参数确定方法研究

论文摘要

支持向量机(Support Vector Machine,SVM)是近年来受到广泛关注的一类学习机器,它以统计学习理论(Statistical Learning Theory,SLT)为基础,具有简洁的数学形式、标准快捷的训练方法和良好的泛化性能,已广泛应用于模式识别、函数估计和时间序列预测等数据挖掘问题。目前SVM的研究热点主要有:SVM的模型选择、快速学习算法研究等。由于支持向量机是一种基于核的学习方法,所以核及相关参数的选取对泛化能力有着重要的影响,进而对支持向量机的性能也有着重要的影响。如何有效地进行核及相关参数的选择是支持向量机研究领域的一个重要问题。本文对于SVM的核及相关参数的选择问题进行了系统的研究,主要内容如下:(1)对现有核选择方法进行了详细的分析和研究。(2)提出了一种选择支持向量分类最优核参数的算法,通过定义样本间的独立性,可以获得最优核参数和相应的最优学习模型。提出的算法可以在支持向量机训练之前得到最优的核参数,计算代价较小。(3)通过对SVM中最优化问题KKT条件的研究,给出了一种高斯核最优核参数的界估计,可以证明,存在核参数的一个区间,在这个区间中任意取值,对应的SVM都具有良好的泛化性能。(4)通过对高斯核SVM与尺度空间理论的分析,给出了高斯核SVM与尺度空间的理论联系,从而为高斯核SVM与尺度空间建立了理论桥梁。高斯核SVM的最优核参数可以通过动态估计得到。本文研究的内容是SVM研究中的热点问题之一,研究结果不仅具有重要的理论意义,而且对于实际问题具有直接的应用价值。

论文目录

• 中文摘要
• ABSTRACT
• 第一章 引言
• 1.1 研究背景
• 1.2 国内外研究现状
• 1.3 论文的主要工作
• 第二章 统计学习理论和支持向量机
• 2.1 统计学习理论
• 2.1.1 学习问题的一般表示
• 2.1.2 学习机器泛化能力的界
• 2.2 支持向量机简介
• 2.2.1 支持向量分类机
• 2.2.2 支持向量回归机
• 2.2.3 核映射
• 2.3 本章小结
• 第三章 核参数选择方法的分析与研究
• 3.1 泛化误差上界的估计方法
• 3.1.1 验证集估计（validation estimation）
• 3.1.2 留一法（leave-one-out）上界
• 3.2 最优核参数的选取
• 3.2.1 SVC最优参数的选择方法
• 3.2.2 SVR最优核参数选择方法
• 3.3 本章小结
• 第四章 支持向量机的最优核参数选择方法
• 4.1 基于数据独立性的支持向量分类机的最优核参数选择方法
• 4.1.1 方法介绍
• 4.1.2 数值实验
• 4.2 高斯核支持向量分类机的最优核参数的界估计
• 4.2.1 方法介绍
• 4.2.2 数值实验
• 4.3 高斯核支持向量回归机的最优核参数的界估计
• 4.3.1 方法介绍
• 4.3.2 数值实验
• 4.4 本章小结
• 第五章 基于尺度空间的高斯核支持向量机的最优核参数选择方法
• 5.1 基于尺度空间的高斯核支持向量分类机的最优核参数选择方法
• 5.2 基于尺度空间的高斯核支持向量回归机的最优核参数选择方法
• 5.3 数值实验
• 5.3.1 高斯核参数分析
• 5.3.2 数据集说明
• 5.3.3 实验结果及分析
• 5.4 本章小结
• 第六章 结论和展望
• 参考文献
• 发表文章目录
• 致谢
• 个人简况