多重集相关投影分析与特征融合研究

论文摘要

特征抽取是模式识别的关键问题之一,特征融合则是特征抽取的重要补充,对提高系统分类性能具有重要意义。本文深入研究了多重集相关投影分析(包括多重集典型相关分析和多重集偏最小二乘分析),将其应用于多特征融合,在手写体数字识别和人脸识别问题中验证了所提算法的有效性。本文的主要研究及创新工作如下：(1)典型相关分析用于特征融合的局限性在于只能融合两种特征,而特征融合应用本身则希望能够融合更多的特征。虽然多重集典型相关分析的提出由来已久,但在特征抽取方面的应用还很少,本文深入研究了多重集典型相关分析,并提出了多重集偏最小二乘分析,将它们应用于多特征融合。(2)在广义典型相关分析的启发下,提出了多重集线性鉴别典型相关分析和多重集最大散度差典型相关分析,使投影后最小化各集合类内离散度,最大化类间离散度和集合相关性。广义典型相关分析最小化类内离散度的同时最大化集合间相关性,取得了比典型相关分析更优的效果,但并未充分利用类信息,本文结合线性鉴别分析的思想提出了多重集线性鉴别典型相关分析。通过分析最大散度差鉴别分析的基本思想和解法,提出总体散布约束的最大散度差鉴别分析,并证明其与线性鉴别分析的等价性。分析了子空间分析法求得的投影矢量尺度对分类的影响,总结和提出了四种投影矢量尺度归一化方法。结合总体散布约束的最大散度差鉴别分析的思想提出了多重集最大散度差典型相关分析。(3)提出了鉴别型多重集典型相关分析和鉴别型多重集偏最小二乘分析。鉴别型典型相关分析实现了最大化类内相关性同时最小化类间相关性,本文将其推广到多集合的情况,并结合偏最小二乘分析提出鉴别型多重集偏最小二乘分析。(4)结合典型相关分析用于单模态识别的方法,将类信息进行编码,作为多重集典型相关分析的一个输入集,将特征数据作为其他输入集,提出了多重集典型相关分析结合类信息的特征融合方法。

论文目录

• 摘要
• Abstract
• 目录
• 1 绪论
• 1.1 引言
• 1.2 相关投影分析的研究与应用
• 1.2.1 典型相关分析研究与应用
• 1.2.2 偏最小二乘分析研究与应用
• 1.2.3 多重集典型相关分析研究与应用
• 1.3 本文的内容安排
• 2 相关投影分析理论与特征融合
• 2.1 引言
• 2.2 典型相关分析（CCA）
• 2.3 偏最小二乘分析（PLS）
• 2.4 基于相关投影分析的特征融合
• 2.4.1 特征融合
• 2.4.2 相关投影分析特征融合方法
• 2.5 图像特征抽取的方法
• 2.5.1 主分量分析（PCA）
• 2.5.2 小波变换
• 2.6 本文使用的分类器
• 2.6.1 最小距离分类器（MD）
• 2.6.2 最近邻分类器（NN）
• 2.7 本章小结
• 3 多重集相关投影分析与特征融合
• 3.1 引言
• 3.2 多重集相关投影分析
• 3.2.1 典型相关分析的一种推广情况
• 3.2.2 多重集典型相关分析（MCCA）
• 3.2.3 多重集偏最小二乘分析（MPLS）
• 3.3 多重集相关投影分析特征融合
• 3.4 实验结果与分析
• 3.4.1 CENPARMI手写体数字数据库上的实验
• 3.4.2 UCI多特征数据集上的实验
• 3.4.3 实验总结
• 3.5 本章小结
• 4 多重集散度鉴别典型相关分析
• 4.1 引言
• 4.2 广义典型相关分析（GCCA）
• 4.2.1 广义典型相关分析（GCCA）的基本思想
• 4.2.2 广义典型相关分析（GCCA）的鉴别思想分析
• 4.2.3 线性鉴别分析（LDA）的另一种形式
• 4.2.4 最大散度差鉴别分析（MSDDA）
• 4.3 总体散布约束的最大散度差鉴别分析
• 4.3.1 MSDDA所存在的问题
• 4.3.2 RMSDDA的基本思想
• 4.3.3 RMSDDA与LDA的等价性证明
• 4.3.4 投影矢量尺度对分类影响性分析
• 4.3.5 投影矢量尺度归一化方法
• 4.3.6 MSDDA和RMSDDA对比实验
• 4.4 多重集散度鉴别典型相关分析
• 4.4.1 多重集线性鉴别典型相关分析（MLDCCA）
• 4.4.2 多重集最大散度差典型相关分析（MMSDCCA）
• 4.5 实验与分析
• 4.5.1 CENPARMI手写体数字数据库上的实验
• 4.5.2 ORL人脸数据库上的实验
• 4.5.3 实验总结
• 4.6 本章小结
• 5 鉴别型多重集相关投影分析
• 5.1 引言
• 5.2 鉴别型相关投影分析
• 5.2.1 鉴别型典型相关分析（DCCA）
• 5.2.2 鉴别型偏最小二乘分析（DPLS）
• 5.3 鉴别型多重集相关投影分析
• 5.3.1 鉴别型多重集典型相关分析（DMCCA）
• 5.3.2 鉴别型多重集偏最小二乘分析（DMPLS）
• 5.4 实验与分析
• 5.4.1 Yale人脸数据库上的特征融合实验
• 5.4.2 ORL人脸数据库上的特征融合实验
• 5.4.3 实验总结
• 5.5 本章小结
• 6 多重集相关投影分析结合类信息的特征融合
• 6.1 引言
• 6.2 典型相关分析用于单模态识别
• 6.3 样本类信息编码方法
• 6.4 结合类信息的多重集典型相关分析（CMCCA）
• 6.5 实验与分析
• 6.5.1 CENPARMI手写体数字识别特征融合实验
• 6.5.2 Yale数据库人脸识别特征融合实验
• 6.5.3 ORL数据库人脸识别特征融合实验
• 6.5.4 实验总结
• 6.6 本章小结
• 7 总结与展望
• 7.1 本文总结
• 7.2 未来展望
• 致谢
• 参考文献
• 附录