特征提取算法的研究与改进

论文摘要

在模式识别领域中,如何利用已有样本进行训练并提取特征,使各类样本具有异于它类样本的特征成为迫切需要解决的问题。目前虽有许多成熟的特征提取方法,但在某些情况下这些方法的性能并不理想,有改进的必要。根据样本的类别个数,可以把模式识别分为两种:两类样本问题和多类样本问题。基于核的最小平方误差方法(KMSE)和Fisher判别分析方法(FDA)分别广泛应用于这两种问题的特征提取过程中。本文对这两种方法进行了分析和研究,并对它们进行了相应的改进。我们通过分析KMSE模型的结构得知此模型不具有唯一解。为了从KMSE模型的解空间中选择最优解,我们引入了一个衡量解向量优劣的准则。此准则不仅能够近似的说明通过KMSE提取到特征的可分性,而且不受解向量模的影响。利用引入的准则作为限制条件,我们给出了一种新的KMSE模型求解方案,并通过在Essex人脸数据库上的实验进行验证。KMSE模型的另一个缺点是特征提取效率与训练样本的个数成反比。在得到一个样本的特征提取结果之前,KMSE模型必须计算与所有训练样本同等个数的核函数。为了提高特征提取效率,基于判别向量可以由一部分关键样本线性表示的假设,我们构造了改进的KMSE模型。在此模型中,我们只需计算与关键样本相同个数的核函数即可完成特征提取。而关键样本只占训练样本的很少一部分,因此改进的KMSE模型具有较高的特征提取效率。我们为此模型设计了两个算法,并通过六个样本集上的实验验证了它们的有效性。除了应用于两类样本问题的KMSE模型,我们还分析了能够有效的对多类样本进行降维的FDA方法。已有的FDA方法要么忽略了判别向量之间的相关性,要么具有较高的计算复杂度。本文提出了一种能够快速计算正交判别向量的方法,并设计了两个算法来实现这一方法。在类内散布矩阵可逆的情况下,通过此方法计算得到的判别向量是相互正交的,文中利用定理证明了这一结论。我们通过人脸识别实验、手写体数学识别实验以及七个UCI数据集上的实验验证文中提出方法的有效性。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 模式识别和模式识别系统
• 1.2 特征提取算法的研究现状
• 1.2.1 特征提取算法
• 1.2.2 二维特征提取算法
• 1.2.3 基于核的特征提取算法
• 1.3 本文的主要内容
• 第2章 核最小平方误差模型求解方案的改进
• 2.1 最小平方误差模型
• 2.2 核最小平方误差模型及求解方案的改进
• 2.2.1 核最小平方误差模型
• 2.2.2 求解方案的改进
• 2.2.3 实验
• 2.3 本章小结
• 第3章 高效的核最小平方误差模型
• 3.1 改进的核最小平方误差模型
• 3.2 关键样本的选择
• 3.3 分析与讨论
• 3.4 实验
• 3.5 本章小结
• 第4章 Fisher 判别分析方法及其改进
• 4.1 Fisher 判别分析的发展历程
• 4.1.1 经典Fisher 判别分析
• 4.1.2 正交的Fisher 判别分析
• 4.1.3 不相关的Fisher 判别分析
• 4.1.4 融合的Fisher 判别分析
• 4.1.5 讨论
• 4.2 一种求解正交判别向量的新方法
• 4.2.1 新方法的提出
• 4.2.2 分析与讨论
• 4.3 实验
• 4.3.1 人脸识别实验
• 4.3.2 在其它数据集上的实验
• 4.4 本章小结
• 结论
• 参考文献
• 攻读学位期间发表的学术论文
• 致谢