基于相关投影分析的特征抽取与图像识别研究

论文摘要

特征抽取是模式识别研究的最基本问题之一。对于图像识别而言，抽取有效的图像特征是完成识别任务的关键。本文提出的相关投影分析，包括典型相关分析、广义典型相关分析和偏最小二乘分析是建立在两组特征或两个数据矩阵上的特征抽取方法。它的基本思想是，首先，在两组特征之间建立相关性判据准则函数，然后依据该准则求解两组相关投影矢量集，进而抽取各自数据上的相关性特征，最后通过不同的特征融合策略获得组合的相关特征，并用于图像的分类。本文就三种相关投影分析的理论和算法进行了深入的研究和探讨，所提出的各种算法在人脸识别和字符识别方面得到了较成功的应用。 本文基于特征融合的思想，建立和完善了典型相关分析（CCA）用于组合特征抽取和图像识别的理论框架，所提出的两种特征融合策略，为模式的特征抽取和分类提供了新的途径。本文不仅给出了CCA用于图像识别的理论和方法，更为重要的是从理论上推广了CCA的应用范围，解决了当两组特征矢量构成的总体协方差矩阵奇异时，典型相关投影矢量的求解问题，使之适合于高维小样本的情形。这一理论上的突破，为CCA的应用彻底扫清了障碍。本文进一步从理论上揭示了CCA与Fisher线性鉴别分析的联系，在求解典型相关投影矢量的理论框架下，提出了一种求取不相关的最佳鉴别矢量集的间接算法。在手写体阿拉伯数字数据库和人脸图像数据库上分别证实了所提出算法的有效性。 本文从有利于模式分类的角度，提出并详细探讨了广义典型相关分析（GCCA）的理论与算法。首先，提出了一种改进的相关判据准则函数，依据该准则，在两种不同的约束条件下，分别建立了求解广义典型投影矢量集（GCPV）的算法理论；进一步探讨了当两组原始样本的类内散布矩阵奇异时，求解GCPV的两种策略，即PCA+GCCA策略与扰动策略。在使用扰动策略求解GCPV时，针对高维小样本（图像识别等）问题的计算效率，提出了一种高效的算法；本文提出了一种新的特征融合策略（FFS3），引入了图像相关特征矩阵的概念，并提出了基于相关特征矩阵的两种分类方法。在手写体数字数据库和人脸数据库上的实验结果验证了所提各种算法的有效性。理论分析和实验结果都表明了，基于改进的判据准则函数，不仅具有明显的物理意义，而且在分类性能上，基于GCCA所抽取的组合特征明显地优于基于CCA所抽取的组合特征。 本文深入地探讨了偏最小二乘（PLS）建模方法用于特征抽取和图像识别的理论和方法。首先，对传统的PLS回归理论和性质进行了深入分析。在此基础上，基于PLS的建模思想，着眼于算法的效率和精度，依据不同的约束条件，提出了两种新的PLS建模方法，即非迭代PLS建模方法（NI-PLS）与共轭正交的PLS建模方法（CO-PLS）。进一步研究和探讨了PLS建模方法用于图像识别的三种策略，即基于

论文目录

• 摘要
• ABSTRACT
• 目录
• 第1章 绪论
• 1.1 引言
• 1.2 线性投影分析的研究与发展
• 1.2.1 主分量分析概述
• 1.2.2 Fisher线性鉴别分析概述
• 1.3 相关投影分析概述
• 1.3.1 典型相关分析的研究与发展
• 1.3.2 偏最小二乘分析的研究与发展
• 1.4 图像识别的具体应用:人脸识别与字符识别
• 1.4.1 人脸识别介绍及研究概况
• 1.4.2 基于投影分析的人脸特征抽取
• 1.4.3 基于投影分析的手写体字符特征抽取
• 1.5 本文的主要研究工作
• 1.6 本文的内容安排
• 第2章 典型相关分析用于图像识别的理论与方法
• 2.1 引言
• 2.2 典型相关分析用于特征融合的理论框架
• 2.2.1 典型相关分析的基本思想
• 2.2.2 组合特征抽取的原理
• 2.2.3 算法步骤
• 2.2.4 相关性度量
• 2.2.5 融合前的预处理
• 2.3 高维小样本情况下的讨论
• 2.3.1 算法与理论
• 2.3.2 算法分析
• 2.4 典型相关鉴别分析
• 2.4.1 基于Fisher准则的线性鉴别分析
• 2.4.2 求取UODV的一种间接算法
• 2.4.3 算法比较分析
• 2.4.4 高维小样本情况下 UODV的求解
• 2.5 试验与分析
• 2.5.1 试验1
• 2.5.2 试验2
• 2.5.3 试验3
• 2.6 本章小结
• 第3章 广义典型相关分析的原理与应用
• 3.1 引言
• 3.2 广义典型相关分析的原理与算法
• 3.2.1 广义典型相关判别准则
• 3.2.2 广义典型投影矢量集的求解
• 3.2.3 基于共轭正交约束的广义典型投影矢量集
• 3.2.4 两种算法的性能分析
• 3.3 类内散布矩阵奇异时的讨论
• 3.3.1 策略1: PCA plus GCCA
• 3.3.2 策略2: 扰动法
• 3.4 特征融合策略与分类器的设计
• 3.4.1 基于相关特征矩阵的最小距离分类器
• 3.4.2 基于相关特征矩阵的最近邻分类器
• 3.5 试验与分析
• 3.5.1 试验1
• 3.5.2 试验2
• 3.5.3 试验3
• 3.6 本章小结
• 第4章 基于偏最小二乘分析的特征抽取技术
• 4.1 引言
• 4.2 PLS建模的基本思想
• 4.3 经典的偏最小二乘回归分析方法
• 4.3.1 基本原理
• 4.3.2 基本性质
• 4.4 两种新的PLS建模方法
• 4.4.1 一种非迭代 PLS建模方法（NI-PLS）
• 4.4.2 共轭正交的 PLS成分提取算法（CO-PLS）
• 4.4.3 算法的性能分析
• 4.5 PLS模型用于图像识别的策略
• 4.5.1 基于单一特征的分类: PLS鉴别分析
• 4.5.2 基于两组特征的分类:特征融合
• 4.5.3 一种新的相关双子空间的连续分类器设计
• 4.6 试验与分析
• 4.6.1 人脸图像的重构与识别试验
• 4.6.2 手写体字符数据库上的融合试验
• 4.6.3 基于相关双子空间的试验
• 4.7 本章小结
• 第5章 二维相关投影分析的理论构架及其在图像识别中的应用
• 5.1 引言
• 5.2 二维典型相关分析（2D-CCA）
• 5.2.1 基本思想
• 5.2.2 算法理论
• 5.2.3 特征抽取与分类策略
• 5.2.4 相关性分析
• 5.3 二维广义典型相关分析（2D-GCCA）
• 5.3.1 基本思想
• 5.3.2 两种算法
• 5.3.3 组合特征的抽取与分类
• 5.4 二维偏最小二乘分析（2D-PLS）
• 5.4.1 2D-PLS的建模思想
• 5.4.2 2D非迭代 PLS建模方法（2D-NIPLS）
• 5.4.3 特征抽取与分类
• 5.5 试验与分析
• 5.5.1 试验1
• 5.5.2 试验2
• 5.6 本章小结
• 第6章 结束语
• 致谢
• 参考文献
• 附录