几种新型分类器设计及其在人脸识别应用中的研究

论文摘要

在模式识别系统中,分类器是根据特征提取环节得到的特征向量建立决策规则,实现对被测试对象的判别归类。由于分类器设计的好坏直接影响整个模式识别系统的性能,所以在训练样本等已知信息基础上构造有效的分类器是模式识别系统设计的一个核心任务。本文首先提出一种新的分类器——最近邻凸包分类器。该分类器以测试样本到各类凸包的距离作为相似性度量,并按照最近邻分类原则确定测试样本类别归属。在ORL、MPI和FERET人脸识别数据库上的实验中,最近邻凸包分类器表现出了优于最近邻分类器和线性支持向量机的分类性能。实验结果充分证实了最近邻凸包分类器的可行性和有效性。范数作为重要的距离测度,在模式识别中有着较为广泛的应用。在不同的范数定义下,相同分类机理的分类算法一般会有不同的分类效果。本文提出1-范数下的最近邻凸包人脸识别算法。该算法将最近邻凸包分类算法的范数定义由2-范数推广到1-范数,以测试点到各训练类凸包的1-范数距离作为最近邻分类的相似性度量。在ORL和NUST603人脸数据库上的测试实验中,该方法取得了良好的识别效果。为了增强最近邻凸包分类器的非线性分类能力,本文提出了基于核函数方法的最近邻凸包分类算法。该算法首先利用核函数方法将输入空间映射到高维特征空间,然后在高维特征空间采用最近邻凸包分类原理对样本进行分类。对于凸包交叠区域较大的情况,核最近邻凸包分类器试图通过核函数方法把问题转化为特征空间中凸包不交的情况,从而可以解决最近邻凸包分类器随机判定凸包交叠区域类别的问题。因此,核最近邻凸包分类器与最近邻凸包分类器相比,能够处理更为复杂的模式分类问题,具有更强的非线性处理能力。ORL和FERET人脸数据库上的实验结果证实,这种核函数方法与最近邻凸包分类算法的融合是可行的和有效的。由于最近邻凸包分类器是以测试样本到凸包的距离为相似性度量的分类器,而求测试样本到凸包距离的凸二次规划问题所需的内存空间和执行时间都是随着训练样本的个数增加而增加。因此对于大规模训练集情况,适当的样本选择策略是十分必要的。为了将最近邻凸包分类原理更好的应用于大规模数据问题,本文提出将子空间样本选择方法与最近凸包分类器相结合的分类算法。该方法首先采用子空间样本选择方法针对各类训练集进行类内选样,然后将各类选出的样本作为新的训练集用于最近邻凸包分类器。子空间样本选择方法通过在类内不断迭代选择那些距离选择集样本张成子空间最远的点,使得已选样本对类内其他样本的重构误差迅速减小,从而实现选择集样本对样本分布的有效估计。在MIT-CBCL人脸识别数据库的training-synthetic子库的实验中,基于子空间样本选择的最近邻凸包分类器取得了较好的实验效果,与未经选样的最近邻凸包分类器相比,该算法只需选择较少的样本就可以保证分类器的100%的识别率,并且算法的执行时间大大缩短。核最近邻凸包分类器同最近邻凸包分类器一样也涉及凸二次规划问题的求解,因此,本文提出基于核子空间样本选择的核最近邻凸包分类器。核子空间样本选择方法是子空间样本选择方法在核空间的推广。我们将该选样算法与核最近邻凸包分类器相结合应用于人脸识别,在MIT-CBCL人脸识别数据库的training-synthetic子库上,该结合方法取得了较好的实验效果。实验结果充分证实了这种基于核子空间样本选择的核最近邻分类器是可行和有效的。本文提出一种新的线性分类器——仿射子空间最近点分类器。该分类器受支持向量机的几何解释和最近点问题启发,将支持向量机最近点法的最近点搜索区域由两类训练集凸包推广到两类训练样本各自张成的仿射子空间,以仿射子空间作为样本分布的粗略估计,并通过仿射子空间中的最近点对来构造平分仿射子空间间隔的最优分类超平面。该算法在Yale、ORL和Harvard人脸数据库上的比较实验中取得了较好的识别效果。本文进一步将仿射子空间最近点分类器推广为基于核的仿射子空间最近点分类器,即通过核技巧在核空间训练构造仿射子空间最近点分类器。该分类器在Yale、Harvard和ORL人脸数据库上与最近邻分类器,支持向量机分类器和仿射子空间最近点分类器的测试比较实验中,取得了较好的识别效果。

论文目录

• 摘要
• Abstract
• 目录
• 第一章 绪论
• 1.1 模式识别与分类器设计
• 1.2 分类器设计方法
• 1.3 人脸识别应用研究
• 1.4 本文主要研究成果
• 1.5 本文章节安排
• 第二章 最近邻凸包分类器
• 2.1 引言
• 2.2 最近邻凸包分类器
• 2.2.1 凸组合/凸集/凸包
• 2.2.2 点到凸包距离
• 2.2.3 最近邻凸包分类器原理
• 2.3 人脸识别实验与分析
• 2.4 本章小结
• 第三章 1-范数最近邻凸包分类器
• 3.1 引言
• 3.2 向量范数
• 3.3 1-范数最近邻凸包分类算法
• 3.4 人脸识别实验与分析
• 3.5 本章小结
• 第四章 核最近邻凸包分类器
• 4.1 引言
• 4.2 核函数方法
• 4.3 核最近邻凸包分类器
• 4.4 人脸识别实验与分析
• 4.5 本章小结
• 第五章 基于子空间样本选择方法的最近邻凸包分类器
• 5.1 引言
• 5.2 子空间样本选择方法
• 5.2.1 子空间样本选择算法
• 5.2.2 有关性质及其证明
• 5.3 子空间样本选择的最近邻凸包分类器
• 5.4 人脸识别实验与分析
• 5.5 本章小结
• 第六章 基于核子空间样本选择方法的核最近邻凸包分类器
• 6.1 引言
• 6.2 核子空间样本选择方法
• 6.3 核子空间样本选择的核最近邻凸包分类器
• 6.4 人脸识别实验与分析
• 6.5 本章小结
• 第七章 仿射子空间最近点分类器
• 7.1 引言
• 7.2 支持向量机的几何解释
• 7.2.1 支持向量机原理简介
• 7.2.2 支持向量机的几何解释
• 7.3 仿射子空间最近点算法
• 7.3.1 仿射子空间
• 7.3.2 仿射子空间最近点算法
• 7.4 人脸识别实验与分析
• 7.5 本章小结
• 第八章 核仿射子空间最近点分类器
• 8.1 引言
• 8.2 核仿射子空间最近点分类算法
• 8.3 人脸识别实验与分析
• 8.4 本章小结
• 结束语
• 致谢
• 参考文献
• 附录