基于核方法的模式分类研究与应用

论文摘要

近些年来,基于核函数的学习方法（核方法）已经成功地用于解决模式分类领域中的各种问题。它具有两个显著的特点:首先,是在线性与非线性之间架设起一座桥梁,即它通过核函数隐含的将数据投影到一个高维核特征空间中,使得线性算法得以在该空间中处理非线性可分的数据。其次,是通过巧妙地引入核函数,使得学习算法的计算复杂度不受样本维数的影响,从而避免了“维数灾难”问题。多视角人脸检测问题中的人脸模式与非人脸模式之间,基于内容的图像检索问题中的图像视觉特征表征和人们对图像的语义理解之间,都呈现出复杂的非线性关系。本论文围绕模式分类领域中的这两个现实应用问题,对核方法的加速算法和核函数优化理论展开了较为深入的研究,另外,论文还对图像检索中的形状特征描述、小样本集情况下的距离度量学习问题进行了研究。本论文的主要创新点概括如下:1)提出了一种能够以多分辨率方式对数据进行分类的分类器,即提升核MPP分类器。它具有在分类复杂度和分类精度之间进行调节的机制,从而克服了传统SVM分类器运算复杂度大,不适用于实时分类的难题。2)提出了一种基于经验核空间的多分辨率聚类算法,即KBCL。作为一种非线性聚类算法,KBCL具有存储开销少,无需事先指定子类别数,对初始类别划分不敏感,能进行多分辨率分析等优点。这些优点使其适用于对大数据量的数据集进行聚类分析。3)采用KBCL聚类算法和提升核MPP分类器,设计了一种多分辨率树状结构的多视角人脸检测器。该检测器在学习过程中能够自动对人脸样本集进行多分辨率划分,并创建对应的多分辨率树状检测结构;检测时能够以由“粗”到“精”的策略快速、准确地实现对人脸目标的定位。4)针对高斯核函数的参数选择问题,提出了一种正则化核离差矩阵准则（RKSC）,该准则具有对非奇异线性变换的不变性。因此,采用RKSC准则选出的高斯核参数,能够准确反映数据在核空间中的分布特性,而不受坐标系统选择的影响。针对SVM分类器的核选择问题,提出了一种基于特征空间的类别可分性度量（FCSM）。FCSM度量从理论上可以看作是对半径间隔界度量的一种简化近似。因此,通过最小化FCSM度量来优化多个高斯核函数的组合系数,可以降低SVM分类器的分类错误率上限,从而提升SVM分类器的分类能力。这两种方法在整个参数选取过程中无需训练和测试分类器,并且也不需要复杂的二次优化过程来求解度量函数,因此,都能够以较高的效率完成对核函数的优化。5)提出了一种基于广义霍夫变换的图像形状特征描述方法,该方法在具有平移、尺度和旋转不变性的同时,还具有较好的鲁棒性,可以有效地描述具有局部缺损和部分被遮挡的图像目标。并且由于霍夫变换方法本身,具有对数据库中的图像进行初步筛选的能力,这确保了后续图像匹配环节的高效性。6)提出了一种基于半监督优化核偏重鉴别分析（S-KBDA）的距离度量学习方法。S-KBDA算法能够同时根据监督样本提供的鉴别信息,和非监督样本提供的几何分布信息,来学习投影矢量,这在一定程度上克服了小样本集情况下的过学习问题。另外,S-KBDA算法在学习投影矢量的同时,还能够对所采用的核矩阵进行优化,从而确保采用学得的距离度量可以最大程度地改善图像检索系统的检索精度。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 核方法研究中存在的主要问题
• 1.3 论文的主要内容及结构安排
• 第二章 核方法的理论基础
• 2.1 引言
• 2.2 基于统计学习理论的模式分类
• 2.3 核函数
• 2.4 核函数的性质
• 2.4.1 正定核函数
• 2.4.2 再生核和再生核希尔伯特空间
• 2.4.3 Mercer 核映射
• 2.4.4 核函数的构造
• 2.5 本章小结
• 第三章 面向目标检测的核方法研究
• 3.1 引言
• 3.2 SVM 分类器的加速算法概述
• 3.2.1 无损集约向量集创建算法
• 3.2.2 有损集约向量集创建算法
• 3.3 提升核镜像点对分类器
• 3.3.1 核镜像点对分类器
• 3.3.2 基于提升算法的核镜像点对分类器组合
• 3.4 实验结果
• 3.4.1 提升核镜像点对分类器与SVM 分类器的比较
• 3.4.2 核镜像点对分类器同类Haar 特征分类器的比较
• 3.5 本章小结
• 第四章 基于核方法的多视角人脸检测系统
• 4.1 引言
• 4.2 多视角人脸检测研究概述
• 4.3 基于经验核空间分支竞争学习算法的人脸样本集多分辨率划分
• 4.3.1 分支竞争学习算法
• 4.3.2 基于经验核空间的分支竞争学习算法
• 4.4 多视角人脸检测器的训练
• 4.5 实验结果
• 4.5.1 KBCL 算法在人脸数据集上的聚类实验
• 4.5.2 多视角人脸检测实验结果
• 4.6 本章小结
• 第五章 核方法中的核优化算法研究
• 5.1 引言
• 5.2 核优化算法研究概述
• 5.3 基于正则化核离差矩阵准则的高斯核优化
• 5.3.1 基于离差矩阵的类别可分性准则
• 5.3.2 正则化核离差矩阵准则
• 5.3.3 基于正则化核离差矩阵准则的高斯核优化算法
• 5.3.4 实验结果
• 5.4 基于核空间类别可分性度量的组合核优化
• 5.4.1 FSM 度量和半径间隔界度量
• 5.4.2 基于核空间的类别可分性度量
• 5.4.3 基于FCSM 度量的组合核优化算法
• 5.4.4 实验结果
• 5.5 本章小结
• 第六章 基于核优化的图像检索研究
• 6.1 引言
• 6.2 基于广义霍夫距的图像检索方法
• 6.2.1 基于极坐标变换的轮廓描述方法
• 6.2.2 基于广义霍夫距的轮廓描述方法
• 6.2.3 基于广义霍夫距的形状匹配方法
• 6.2.4 实验结果
• 6.3 基于半监督优化核偏重鉴别分析的图像检索方法
• 6.3.1 核偏重鉴别分析
• 6.3.2 半监督核偏重鉴别分析
• 6.3.3 基于半监督优化核的偏重鉴别分析
• 6.3.4 优化求解算法
• 6.3.5 实验结果
• 6.4 本章小结
• 第七章 结束语
• 7.1 本文内容总结
• 7.2 未来研究展望
• 参考文献
• 附录一 符号与标记
• 攻读博士学位期间发表的学术论文目录
• 攻读博士学位期间参与的科研项目
• 攻读博士学位期间申请的专利
• 致谢
• 附件