基于二分类SVM的多分类方法比较研究

论文摘要

支持向量机(Support Vector Machine，SVM)是一种基于统计学习理论的新型机器学习方法，具有全局最优、结构简单、推广能力强等优点，因此得到了广泛的研究和应用。但是SVM方法最初是设计用来解决两类分类问题的，如何将SVM扩展到多分类问题是SVM研究的重要内容之一。本文在分析了SVM的基本理论和基本性质的基础上，针对基于二分类器SVM的多分类方法进行了深入研究。主要研究工作如下。针对目前常见的多分类方法，包括OAA方法、OAO方法、DAG方法、ECOC方法等，总结并给出了理论上的分类原理分析、纠错能力分析和算法复杂度比较。引入一种基于数据驱动的拓扑保持输出编码(TPOC)方法。在iris、segment、NCI、ISOLET、Letter等多组数据集上使用OAA、DAG、ECOC、DECOC等几种常用多分类算法以及TPOC方法进行了识别率、复杂度和训练时间的对比实验。结果表明，DAG算法具有较高的识别能力和推广能力，TPOC与ECOC、DECOC相比在识别率损失不大的情况下可有效减少支持向量的数目。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 选题背景
• 1.2 支持向量机的研究现状
• 1.2.1 SVM 的训练算法
• 1.2.2 SVM 多分类方法
• 1.2.3 SVM 的应用研究
• 1.3 本文的研究内容
• 1.4 本文的结构安排
• 第二章 支持向量机理论概述
• 2.1 统计学习理论简介
• 2.1.1 学习的一致性问题
• 2.1.2 VC 维
• 2.1.3 推广性的界
• 2.1.4 结构风险最小化
• 2.2 支持向量机
• 2.2.1 SVM 的相关数学基础
• 2.2.2 最优分类超平面
• 2.2.3 线性可分情况
• 2.2.4 线性不可分情况
• 2.3 SVM 核函数及模型选择
• 2.3.1 核函数
• 2.3.2 SVM 模型选择
• 2.4 特征选择
• 2.5 本章小结
• 第三章 基于二分类器的多分类算法
• 3.1 常见多分类算法介绍
• 3.1.1 一对多 SVM 算法（One-against-all，OAA）
• 3.1.2 一对一 SVM 分类算法（One-against-one，OAO）
• 3.1.3 有向无环图多分类算法（Directed Acyclic Graph，DAG）
• 3.1.4 纠错输出编码方法（Error Correcting Output Codes，ECOC）
• 3.1.5 DECOC 方法
• 3.2 一种基于拓扑保持输出编码的多分类算法
• 3.2.1 TPOC 分类思想
• 3.2.2 TPOC 的特性
• 3.3 本章小结
• 第四章 基于二分类 SVM 多分类算法比较
• 4.1 分类思想分析
• 4.2 算法复杂度比较
• 4.3 纠错能力分析
• 4.4 本章小结
• 第五章 实验与结果分析
• 5.1 实验数据与实验环境
• 5.2 LIBSVM 工具包简介
• 5.3 LIBSVM 使用方法简介
• 5.4 实验结果与分析
• 5.4.1 在 iris 数据集上的实验
• 5.4.2 在 NCI 数据集上的实验
• 5.4.3 在 ISOLET 数据集上的实验
• 5.4.4 实验总结
• 5.5 本章小结
• 第六章 总结与展望
• 致谢
• 参考文献