支撑矢量机理论与应用研究

论文摘要

统计学习理论是在有限样本下建立起来的统计学理论体系，而支撑矢量机是建立在统计学习理论的VC维理论和结构风险最小化原则上的一种非常有效的机器学习方法。支撑矢量机较好的解决了以往机器学习方法中存在的小样本、非线性、过学习、高维数、局部极小值点等实际问题，且具有很强的泛化性能。虽然统计学习理论和支撑矢量机有比较坚实的理论基础和良好的发展前景，但是对于支撑矢量机而言，还存在着以下尚未得到很好解决的问题：核函数和核参数的构造与选择缺乏理论指导、大规模样本集快速训练算法、多类支撑矢量机优化设计以及工程应用领域的拓展等。针对上述几个问题，本文开展了基于统计学习理论和支撑矢量机目标识别方法理论与应用的研究工作，主要包括以下几个方面的内容。(1)特征空间线性可分性。对于两类和多类目标识别问题，本文分别给出了观测样本在特征空间中线性可分的定义和充要条件。特别地，当核函数的Gram矩阵正定时，观测样本集在由核函数导出的高维特征空间中必然线性可分。(2)基于分类间隔的特征选择。对于两类和多类目标识别问题，本文依据各特征对分类间隔的贡献大小而定义了特征有效率，并提出了一种新的特征选择算法。该算法秉承了统计学习理论的理论基础——结构风险最小化，即要求选择出的特征子集能较好的兼顾分类能力和推广性能。(3)核函数自适应构造。本文根据观测样本在特征空间中线性可分条件，基于函数逼近论和核函数的基本性质，提出了自适应构造核函数的两种模型，即自适应多项式核函数和自适应B—Spline核函数，并给出了模型参数估计算法。(4)多类扩码支撑矢量机。本文通过扩展类别标示符编码，提出了一种新的多类扩码支撑矢量机——半对半算法。该多类支撑矢量机模型可以序贯求解，有效地降低了计算规模，也不存在判决“死区”。此外，本文还分析了多类目标扩码识别算法的推广性能。(5)分片支撑矢量机。本文提出了一种新的支撑矢量机模型——分片支撑矢量机。分片支撑矢量机不仅可以有效的处理高度复杂分布区域的识别问题，提高识别率和推广能力，而且可以大幅度降低计算量和存储容量。此外，本文还探讨了其推广能力的界。(6)基于支撑矢量机的广义相关K分布杂波检测。本文推导了广义相关K分布杂波高阶自相关矩函数，给出了杂波序列产生原理图，提出了模型参数解耦估计算法。将雷达杂波环境中信号检测问题转化为目标分类识别问题，基于支撑矢量机方法在广义K分布杂波背景下实现对目标的检测。最后对全文的工作进行总结，指出需要进一步深入研究和解决的问题。

论文目录

• 图目录
• 表目录
• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 引言
• 1.2 支撑矢量机研究现状与发展趋势
• 1.2.1 机器学习方法研究现状与发展趋势
• 1.2.2 支撑矢量机研究现状与发展趋势
• 1.2.3 课题研究背景与军事应用前景
• 1.3 本文主要工作与结构安排
• 第二章 统计学习理论与支撑矢量机基本原理
• 2.1 引言
• 2.2 机器学习的基本问题和方法
• 2.2.1 机器学习问题基本模型
• 2.2.2 经验风险最小化
• 2.2.3 复杂性与推广性能
• 2.3 统计学习理论
• 2.3.1 经验风险最小化学习过程一致性的条件
• 2.3.2 函数集的学习性能与 VC 维
• 2.3.3 推广性的界
• 2.3.4 结构风险最小化
• 2.4 支撑矢量机
• 2.4.1 最优分类面
• 2.4.2 广义最优分类面
• 2.4.3 规范化超平面集的子集结构
• 2.4.4 支撑矢量机
• 2.5 仿真实验与结果分析
• 2.6 小结
• 第三章 二类支撑矢量机
• 3.1 引言
• 3.2 二类目标特征线性可分性
• 3.2.1 二类目标线性可分性定义
• 3.2.2 二类目标线性可分性条件
• 3.3 二类目标特征选择
• 3.3.1 二类目标特征线性可分性最优化模型
• 3.3.2 二类目标特征线性可分性判据性质
• 3.3.3 基于有效率的二类目标特征选择
• 3.4 核函数自适应构造
• 3.4.1 核函数基本性质
• 3.4.2 自适应核函数构造
• 3.4.3 自适应核函数模型参数求解
• 3.5 仿真实验及结果分析
• 3.5.1 二类目标特征可分性
• 3.5.2 二类目标特征选择
• 3.5.3 核函数自适应构造
• 3.6 小结
• 第四章 多类支撑矢量机
• 4.1 引言
• 4.2 多类目标特征线性可分性
• 4.2.1 多类目标线性可分性定义
• 4.2.2 多类目标线性可分性条件
• 4.3 多类目标支撑矢量机
• 4.3.1 多类支撑矢量机经典模型
• 4.3.2 多类扩码支撑矢量机
• 4.3.3 多类扩码支撑矢量机序贯求解
• 4.3.4 多类扩码支撑矢量机推广性能
• 4.4 多类目标特征选择
• 4.4.1 多类目标特征线性可分性最优化模型
• 4.4.2 多类目标特征线性可分性判据性质
• 4.4.3 基于有效率的多类目标特征选择
• 4.5 仿真实验及结果分析
• 4.5.1 多类目标特征可分性
• 4.5.2 多类目标特征选择
• 4.5.3 多类目标半对半算法
• 4.6 小结
• 第五章 分片支撑矢量机
• 5.1 引言
• 5.2 分片支撑矢量机
• 5.2.1 分片支撑矢量机原理
• 5.2.2 分片支撑矢量机推广能力
• 5.3 分片支撑矢量机计算量
• 5.4 特征空间剖分
• 5.4.1 特征空间剖分准则
• 5.4.2 分片最优分类超曲面链接
• 5.5 仿真实验与结果分析
• 5.6 小结
• 第六章 SVM 在杂波环境下目标检测中的应用
• 6.1 引言
• 6.2 广义相关 K 分布杂波模型
• 6.2.1 复合 K 分布杂波模型
• 6.2.2 广义 K 分布杂波模型
• 6.2.3 广义相关 K 分布杂波统计特性
• 6.2.4 广义 K 分布杂波模型参数估计
• 6.3 广义相关 K 分布杂波仿真流程
• 6.4 基于 SVM 广义相关 K 分布杂波检测
• 6.5 仿真实验与结果分析
• 6.5.1 广义相关 K 分布杂波产生及模型参数估计
• 6.5.2 广义 K 分布杂波环境中信号检测
• 6.6 小结
• 第七章 结束语
• 7.1 引言
• 7.2 全文工作总结
• 7.3 进一步工作展望
• 致谢
• 作者在攻读博士学位期间发表的论文
• 参考文献