几种特征加权支持向量机方法的比较研究

论文摘要

支持向量机(Support Vector Machine, SVM是一种新的基于统计学习理论（Statistical Learning Theory）的机器学习方法,根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷,以获得更好的泛化能力.经典支持向量机认为所有的特征有相同的重要性,然而如果样本中包含着与目标函数弱相关甚至是不相关的特征时,就会在一定程度上影响分类器的推广能力.在一些真实数据集上,确实存在某些特征对分类贡献大,而其它特征对分类贡献小的情况,所以就提出了特征加权SVM算法.特征加权就是对每个特征赋予一个区间[0,1]中的数来表明该特征的重要性,越重要的特征就赋予越大的权值.本文把特征选择的一些方法应用到经典SVM中,提出了五种特征加权SVM算法,所采用的特征加权方法有：增益比率法,对称不确定性法,χ2检验法,Gini指标法以及Relief-F算法.然后本文提出了相对间隔的定义,并从理论上证明了在一定条件下,相对间隔越大,SVM的泛化能力就越好.最后在一个人工数据集和八个真实数据集上进行实验,并对实验结果进行分析和比较.本文提出的五种特征加权SVM算法与经典的SVM算法相比,在一定程度上提高了分类精度,并且在多个数据集上的支持向量个数都有所减少.

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 统计学习理论与支持向量机
• 1.2 国内外研究现状
• 1.3 本文的主要研究内容及结构安排
• 第2章 预备知识
• 2.1 统计学习理论
• 2.1.1 损失函数和期望风险
• 2.1.2 经验风险最小化
• 2.1.3 VC维
• 2.1.4 学习过程的一致性和关键定理
• 2.1.5 结构风险最小化
• 2.2 经典支持向量机
• 2.2.1 线性可分支持向量机
• 2.2.2 线性支持向量机
• 2.2.3 非线性支持向量机
• 2.3 小结
• 第3章 特征加权支持向量机
• 3.1 特征重要性的度量
• 3.1.1 列联表简介
• 3.1.2 信息增益法
• 3.1.3 增益比率法
• 3.1.4 对称不确定性法
• 2检验法'>3.1.5 χ²检验法
• 3.1.6 Gini指标法
• 3.1.7 Relief-F算法
• 3.2 特征加权支持向量机
• 3.2.1 线性特征加权支持向量机
• 3.2.2 非线性特征加权支持向量机
• 3.3 间隔与SVM泛化能力之间的关系
• 3.4 小结
• 第4章 实验结果及分析
• 4.1 人工数据集上的实验结果及分析
• 4.4 真实数据集上的实验结果及分析
• 4.3 小结
• 第5章 总结与展望
• 5.1 本文总结
• 5.2 工作展望
• 参考文献
• 致谢
• 攻读学位期间取得的科研成果