基于SVM的模型选择和参数优化方案研究与实现

基于SVM的模型选择和参数优化方案研究与实现

论文摘要

支持向量机是一种基于小样本的学习工具,其基本原理是在两类分类样本之间找到一个线性的分类面把两类样本分开,并且使两类之间的分类间隔最大。但实际应用中的分类数据几乎都无法用一个线性的分类面把它们分开,需要通过一个变换把数据从一个空间映射到另一个高维的空间,在这个高维的空间中数据是线性可分的。变换是使用一个映射函数实现,这个映射函数被称为核函数。分类样本无论是构造核函数还是采用经典的核函数几乎都需要设置核函数的参数,如何设置这些参数才能取得好的分类效果,不同的参数对分类结果又有什么样的影响,如果数据集有几个可以选择的核函数又如何去选择。核函数的选择和核函数参数的设置如何影响分类的结果,本文对这些问题通过实验进行了观察与分析。通过实验观察不同参数设置对分类的影响。实验内容为对核函数设置不同参数数值,观察分类结果的变化。有可选核函数的分类样本,对每个核函数逐一进行实验观察。实验结果显示不同的参数对分类的精度有很大的影响,不同的核函数也使分类精度变化很大。分类的目的不仅是要区分样本还要取得最好的分类效果。为了保证最高的精度,需要找到一个方法来确定参数和选择核函数。本文中构造一个误差函数来量化分类的误差。由于误差最小和分类精度高是等价的,能取得误差函数的最小值,也就意味着得到了最高的分类精度,于是如何得到最高的分类精度问题转化为求误差函数最小值问题。采用求误差函数导数的方法求其最小值,求误差函数最小值的方法也是得到各个核函数参数的方法,使用这个方法再结合分类样本求解每个核函数的参数。这样也就找到了一种设置核函数参数的方法,解决了核函数参数优化的问题。不同的核函数采用相同的参数优化方法得到最优参数后能得到在这个核函数下的最高精度,然后对比不同核函数之间的分类精度,选取使精度最高的核函数。这样也就完成了核函数的选取,解决了核函数的模型选择问题。通过参数优化和模型选择两个步骤就能得到最好的分类效果。实验结果证明了本方法的正确性。

论文目录

  • 摘要
  • ABSTRACT
  • 1 绪论
  • 2 统计学习理论
  • 2.1 机器学习
  • 2.2 学习和泛化性
  • 2.3 经验风险最小化
  • 2.4 VC 维
  • 2.5 推广性的界
  • 2.6 结构风险最小
  • 2.7 本章小结
  • 3 支持向量机
  • 3.1 训练样本完全线性可分
  • 3.2 训练样本非完全线性可分
  • 3.3 训练样本非线性可分
  • 3.4 支持向量机的应用
  • 3.5 支持向量存在的主要问题
  • 3.6 本章小结
  • 4 核函数模型选择和参数优化研究
  • 4.1 模型选择和参数优化问题的来源
  • 4.2 不同模型和参数对分类结果影响的实验
  • 4.3 本章小结
  • 5 模型选择和参数优化方法研究
  • 5.1 参数优化方案
  • 5.1.1 求解线性核函数的参数
  • 5.1.2 求解多项式核函数的参数
  • 5.1.3 求解径向基核函数参数
  • 5.1.4 求解二层神经网络核函数参数
  • 5.2 模型选择方案
  • 5.3 本章小结
  • 6 全文总结
  • 致谢
  • 参考文献
  • 附录1 第三章部分公式推导
  • 相关论文文献

    标签:;  ;  ;  ;  

    基于SVM的模型选择和参数优化方案研究与实现
    下载Doc文档

    猜你喜欢