支持向量机若干基础研究及其在图像识别中的应用

论文摘要

支持向量机作为一种数据挖掘的新方法引起了研究者的广泛重视,该方法有严格的理论基础,并且克服了其它算法中存在的局部最小解和过学习问题,具有较好的泛化能力,在指纹识别、人脸识别、DNA检测、文本分类、光学字符识别、手写体识别、疾病检测、自动控制设备的故障检测等方面有着广泛的应用。本文以统计学习理论为基础,重点研究支持向量机快速训练算法、支持向量机核函数构造、支持向量机回归新算法,在此基础上将支持向量机的理论研究应用到原木断层扫描图像中的缺陷识别中,取得了一定的效果。本文的主要工作概括为以下几个方面:1.提出了多拉格朗日乘子协同优化的框架MLSVM,并在此基础上设计了四种支持向量机快速学习算法MLSVM1、MLSVM2、MLSVM3、MLSVM4,在标准的Adult、Web和MNIST数据集上测试,MLSVM3算法速度比经典的支持向量机训练算法SMO快1.07~41.3倍,MLSVM4算法比SMO算法快3~42倍。2.研究了核函数的性质,构造了兼顾样本空间和特征空间相似度的核函数和一种新的正交切比雪夫核函数,在数据集上测试,取得了较好的效果。3.提出了一种基于分类技术的支持向量回归方法,解决数据分布未知、数学模型未知的非线性回归问题。4.将支持向量机应用到原木断层扫描图像中的缺陷识别中,能够自动识别原木断层图像中的节疤、裂纹、腐朽等缺陷,在计算机中重构了原木三维虚拟图像,并进一步地利用支持向量机对原木的三维缺陷进行识别,与使用神经网络的方法相比,使用支持向量机方法的泛化性能更好。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.1.1 海量数据的挑战
• 1.1.2 数据挖掘和机器学习技术
• 1.1.3 数据挖掘和机器学习技术研究带来的希望
• 1.2 支持向量机研究现状和研究要点
• 1.3 本文的贡献
• 1.4 本文的安排
• 第二章 研究基础
• 2.1 统计学习理论
• 2.1.1 学习模型
• 2.1.2 经验风险最小化模型（Empirical risk minimization model, ERM）
• 2.1.3 VC 维和结构风险最小化模型
• 2.2 最优化问题及其基本理论
• 2.2.1 最优化模型
• 2.2.2 KKT 条件
• 2.2.3 对偶理论
• 2.3 支持向量机
• 2.3.1 支持向量机分类
• 2.3.2 支持向量机回归
• 第三章 支持向量机快速算法研究
• 3.1 引言
• 3.2 多拉格朗日乘子协同优化的支持向量学习框架
• 3.2.1 支持向量机和KKT 条件
• 3.2.2 多拉格朗日乘子协同优化的SVM 学习框架
• 3.2.3 可行域边界
• 3.3 MLSVM 框架下的快速算法研究
• 3.3.1 MLSVM1
• 3.3.2 MLSVM2
• 3.3.3 多乘子优化的局限性
• 3.3.4 MLSVM3
• 3.4 MLSVM1、MLSVM2、MLSVM3 实验
• 3.5 MLSVM4 快速算法研究
• 3.5.1 算法KKT 条件
• 3.5.2 修正的多乘子协同优化框架
• 3.5.3 MLSVM4 算法构造和算法描述
• 3.5.4 MLSVM4 实验
• 3.6 B 值的选取问题
• 3.7 MLSVM 框架的讨论
• 3.8 快速算法的研究趋势
• 第四章 支持向量机回归研究
• 4.1 引言
• 4.2 基于分类的SVM 非线性回归算法（CSVR）
• 4.2.1 支持向量回归算法（SVR）
• 4.2.2 CSVR 原理
• 4.2.3 CSVR 网络训练算法
• 4.2.4 CSVR 回归算法
• 4.2.5 回归评估标准
• 4.2.6 CSVR 回归算法实验
• 4.2.7 CSVR 算法讨论
• 4.3 支持向量回归的进一步研究
• 第五章 支持向量机核函数研究
• 5.1 引言
• 5.2 核函数基本概念和常见的核函数
• 5.2.1 核的性质
• 5.2.2 常见的核函数
• 5.2.3 一维核函数和多维核函数的关系
• 5.3 核参数的优化选择
• 5.3.1 核函数参数实验
• 5.3.2 惩罚系数C 的研究
• 5.4 兼顾样本空间和特征空间相似度的核
• 5.4.1 兼顾样本空间和特征空间相似度核的构造
• 5.4.2 组合之后的核函数和原核函数的关系
• 5.4.3 核函数实验
• 5.4.4 讨论
• 5.5 切比雪夫多项式核研究
• 5.5.1 切比雪夫多项式
• 5.5.2 正交性
• 5.5.3 函数的切比雪夫展开式
• 5.5.4 切比雪夫核函数的证明
• 5.5.5 正交切比雪夫核的实例
• 5.5.6 实验
• 5.5.7 讨论
• 5.6 支持向量机核函数的进一步研究
• 第六章 支持向量机在原木图像缺陷识别中的应用
• 6.1 应用背景
• 6.2 原木CT 图像预处理
• 6.3 基于SVM 的原木截面图像缺陷识别
• 6.3.1 实验
• 6.3.2 讨论
• 6.4 原木CT 图像的三维重建和虚拟切削
• 6.5 基于SVM 的原木CT 图像3D 缺陷识别
• 6.5.1 改进的训练样本取样
• 6.5.2 原木中3D 缺陷的支持向量机识别
• 6.6 讨论
• 第七章 总结与展望
• 7.1 论文总结
• 7.2 未来工作展望
• 攻读博士学位期间所发表的论文和参加的基金项目
• 参考文献
• 致谢