模式识别中的样本选择研究及其应用

论文摘要

随着信息科技的发展,人们需要处理的信息数据日渐呈现出高维和海量的特点。然而,随之而来的困扰是如何有效地分析和利用这些数据。这是模式识别、数据挖掘、神经网络、机器学习等学科所共同面临的问题。在统计模式识别中,许多分类方法的计算复杂度随着训练集样本个数的增加而快速增长。因此对于较大规模数据的处理常常陷入困难。一个直接有效的解决途径就是在保证学习算法分类性能的前提下,通过样本选择来约简训练样本集。样本选择既可以起到降低算法计算代价,加快学习速度的作用,也可能避免“过拟合”现象的发生,从而提高分类算法的泛化能力。本文针对分类决策与训练样本凸包有关的一类分类器,包括线性支持向量机、非线性支持向量机、最近邻凸包分类器和核最近邻凸包分类器,提出了几种样本选择方法,并通过实验分别对它们的有效性进行了验证。本文首先提出了子类凸包样本选择方法。该方法针对一类训练样本,通过迭代逐一选择距离选择集凸包最远的样本,从而使得选择集凸包尽可能地逼近原凸包。经证明,该方法选择的样本为原训练集凸包边缘点。本文将该样本选择方法分别与线性支持向量机和最近邻凸包分类器相结合,并取得了良好的实验效果。本文将核函数方法与子类凸包样本选择算法相结合,提出了核子类凸包样本选择方法。该方法利用核函数替代子类凸包样本选择算法中的内积运算,从而巧妙的在特征空间中实现了子类凸包样本选择的过程。本文将该样本选择方法分别用于非线性支持向量机和核最近邻凸包分类器的训练集约简。实验结果表明,由该样本选择方法选择的少量样本可以有效地支撑非线性支持向量机和核最近邻凸包分类器分类。本文提出子空间样本选择方法。该样本选择方法同样是一种类内样本选择方法,通过迭代逐一选择那些到已选样本集张成子空间距离最远的样本。经证明,该方法选择的样本不但是原训练集样本凸包的边缘点,而且彼此线性无关。本文将该样本选择方法应用于线性支持向量机。实验表明,该方法选择的样本在保持线性支持向量机较高识别性能的前提下,使得分类器的训练和测试时间明显缩短。本文在子空间样本选择方法的基础上,引入核函数,形成核子空间样本选择方法。首先通过非线性映射将各类别训练样本映射到特征空间,然后在该空间内执行与子空间样本选择方法相同的选样过程。在验证实验中,该方法为非线性支持向量机选择样本。在保持分类器泛化能力的同时,该方法选择样本少,选样速度快,表现出了明显的比较优势。

论文目录

• 摘要
• Abstract
• 目录
• 第一章 绪论
• 1.1 模式识别
• 1.2 样本选择研究
• 1.3 样本选择方法
• 1.3.1 基于统计抽样思想的方法
• 1.3.2 基于最近邻编辑规则的方法
• 1.3.3 基于示例学习的方法
• 1.3.4 支持向量机的样本选择方法
• 1.4 样本选择的评价
• 1.5 本文的研究成果
• 1.6 论文结构安排
• 第二章 相关知识
• 2.1 核函数方法
• 2.2 支持向量机
• 2.2.1 最优分类超平面
• 2.2.2 广义最优分类超平面与核函数的引入
• 2.2.3 支持向量机几何解释
• 2.2.4 支持向量机的多类别分类
• 2.2.5 改进的支持向量机优化方法
• 2.3 最近邻凸包分类器
• 2.4 核最近邻凸包分类器
• 2.5 本章小结
• 第三章 子类凸包样本选择方法及其应用
• 3.1 引言
• 3.2 子类凸包样本选择方法
• 3.2.1 子类凸包样本选择算法
• 3.2.2 选择样本的凸包边缘性
• 3.3 子类凸包样本选择方法用于线性支持向量机
• 3.3.1 子类凸包样本选择方法用于线性支持向量机
• 3.3.2 实验与分析
• 3.3.3 小结
• 3.4 基于子类凸包样本选择方法的最近邻凸包分类器
• 3.4.1 基于子类凸包样本选择方法的最近邻凸包分类器
• 3.4.2 实验与分析
• 3.4.3 小结
• 3.5 本章小结
• 第四章 核子类凸包样本选择方法及其应用
• 4.1 引言
• 4.2 核子类凸包样本选择方法
• 4.3 核子类凸包样本选择方法用于非线性支持向量机
• 4.3.1 核子类凸包样本选择方法用于非线性支持向量机
• 4.3.2 实验与分析
• 4.3.3 小结
• 4.4 基于核子类凸包样本选择方法的核最近邻凸包分类器
• 4.4.1 基于核子类凸包样本选择方法的核最近邻凸包分类器
• 4.4.2 实验与分析
• 4.4.3 小结
• 4.5 本章小结
• 第五章 子空间样本选择方法及其支持向量机应用
• 5.1 引言
• 5.2 子空间样本选择方法
• 5.2.1 相关定理
• 5.2.2 子空间样本选择算法
• 5.2.3 选择样本的凸包边缘性和线性无关性
• 5.3 子空间样本选择方法用于线性支持向量机
• 5.3.1 子空间样本选择方法用于线性支持向量机
• 5.3.2 实验与分析
• 5.4 本章小结
• 第六章 核子空间样本选择方法及其支持向量机应用
• 6.1 引言
• 6.2 核子空间样本选择方法
• 6.3 核子空间样本选择方法用于非线性支持向量机
• 6.3.1 核子空间样本选择方法用于非线性支持向量机
• 6.3.2 实验与分析
• 6.4 本章小结
• 结束语
• 致谢
• 参考文献
• 附录