增强型典型相关分析研究与应用

增强型典型相关分析研究与应用

论文摘要

机器学习从有限的观察样本概括特定问题世界的模型,离不开数据分析工具的支持,以发现观测数据中隐含的各种关系。典型相关分析(CCA)是研究存在于两组变量之间相关关系的有力工具。作为一种多元数据分析方法,CCA自1936年问世以来,在回归建模、图像分析与处理、计算机视觉、模式识别和生物信息学等领域得到了广泛的应用,并日益受到各领域有关研究者的重视,而多模态识别技术的兴起又为基于CCA的模式识别方法的研究提供了新的契机。本文以CCA数学模型为研究对象展开深入的扩展研究,致力于用增强的CCA模型来解决机器学习中两种主要的学习问题:模式识别与回归建模。本文的创新性研究成果总结如下:(1)提出了一个非线性CCA模型,将一个非线性问题划分为一系列线性子问题的组合,用以解决实际中大量存在的非线性相关问题,并通过数据可视化实验和姿态估计实验验证了算法的有效性。(2)建立了一个CCA单模态识别的统一框架,揭示了“样本-类标号”方式的CCA与线性判别分析之间等价性产生的潜在机理;在此基础上,提出一个基于样本分布的软标号CCA,打破了这种等价性限制,提高了算法的识别性能。(3)提出了一种新的有监督学习方法-判别型CCA,该方法引入样本的类信息,并充分考虑了样本之间的相关关系及其对分类的影响。利用核技巧,进一步提出了核化的判别型CCA,用以解决较为复杂的线性不可分问题;实验表明这两种方法具有较高的识别性能。(4)在判别型CCA基础上,提出了一种有样本缺失的判别型CCA,用以克服实际中由于各种原因导致的样本缺失问题,该方法继承了判别型CCA的优点,且具有识别性能较好、节约时间和内存、对缺失样本数目相对不敏感等优点。(5)CCA将相关性作为样本间相似性度量。将这种思想推广到主成分分析(PCA),提出了基于相关性度量的伪主成分分析。在此基础上,将这种思想方法推广到近年来提出的基于二维模式的PCA算法家族中,使之成为有监督学习方式。此外,在不改变PCA原有算法框架的基础上,提出了引入类信息的PCA。实验表明这两种有监督PCA具有较好的分类效果。

论文目录

  • 摘要
  • ABSTRACT
  • 第一章 绪论
  • 1.1 引言
  • 1.2 研究历史与现状
  • 1.2.1 CCA 的应用
  • 1.2.2 CCA 计算方法的改进
  • 1.2.3 基于CCA 的数学模型
  • 1.2.4 CCA 研究小结
  • 1.3 本文主要的研究内容
  • 1.4 本文的内容安排
  • 第二章 典型相关分析(CCA)
  • 2.1 引言
  • 2.2 CCA 问题刻画
  • 2.3 求解算法
  • 2.4 解的性质
  • 2.5 相关与互信息之间的关系
  • 2.5.1 互信息的定义
  • 2.5.2 特例:高斯分布情况下的互信息
  • 2.5.3 相关与互信息的关系
  • 2.6 与其他多元分析方法的关系
  • 2.7 核CCA
  • 2.8 本章小结
  • 第三章 局部保持的典型相关分析(LPCCA)
  • 3.1 引言
  • 3.2 算法的导出
  • 3.2.1 CCA 优化问题的等价描述形式
  • 3.2.2 局部保持的CCA 公式的导出
  • 3.3 简化的算法
  • 3.4 实验和分析
  • 3.4.1 数据可视化实验
  • 3.4.2 姿态估计实验
  • 3.5 本章小结
  • 第四章 基于样本标号的典型相关单模态识别
  • 4.1 引言
  • 4.2 LDA 简单回顾
  • 4.3 基于类标号的CCA:一个统一描述
  • 4.4 一些特例
  • 4.4.1 类标号特例分析
  • 4.4.2 问题分析与透视
  • 4.5 基于样本标号的CCA
  • 4.6 实验结果
  • 4.7 本章小结
  • 第五章 判别型典型相关分析(DCCA)
  • 5.1 引言
  • 5.2 问题刻画
  • 5.3 类内相关矩阵与类间相关矩阵
  • 5.3.1 类内相关矩阵的定义
  • 5.3.2 类间相关矩阵的定义
  • 5.3.3 讨论
  • 5.4 主方程的导出
  • 5.4.1 DCCA 主方程
  • 5.4.2 解的性质
  • 5.5 DCCA 实验结果
  • 5.5.1 Toy problem 实验
  • 5.5.2 文本分类实验
  • 5.5.3 手写体识别实验
  • 5.5.4 人脸识别实验
  • 5.6 核化的判别型CCA
  • 5.6.1 KDCCA 的导出
  • 5.6.2 KDCCA 的本质
  • 5.7 KDCCA 实验结果
  • 5.7.1 Toy problem 实验
  • 5.7.2 文本分类实验
  • 5.7.3 手写体识别实验
  • 5.7.4 人脸识别实验
  • 5.8 本章小结
  • 第六章 有样本缺失的判别型典型相关分析(DCCAM)
  • 6.1 引言
  • 6.2 方法介绍
  • 6.2.1 问题刻画
  • 6.2.2 类内相关矩阵
  • 6.2.3 类间相关矩阵
  • 6.2.4 主方程的导出
  • 6.3 实验结果
  • 6.3.1 Toy problem 实验
  • 6.3.2 文本分类实验
  • 6.3.3 手写体识别实验
  • 6.4 本章小结
  • 第七章 基于相关性度量的伪主成分分析(P-PCA)
  • 7.1 引言
  • 7.2 伪主成分分析
  • 7.3 伪主成分分析的推广形式
  • 7.3.1 伪2DPCA
  • 7.3.2 伪MatPCA
  • 2PCA'>7.3.3 伪(2D)2PCA
  • 7.4 实验
  • 7.4.1 Toy problem 实验
  • 7.4.2 ORL 数据集
  • 7.4.3 Yale 数据集
  • 7.4.4 AR 数据集
  • 7.5 本章小结
  • 第八章 引入类信息的主成分分析(CIPCA)
  • 8.1 引言
  • 8.2 CIPCA 方法介绍
  • 8.2.1 寻找投影向量
  • 8.2.2 特征抽取方式
  • 8.2.3 分类策略
  • 8.3 实验结果
  • 8.3.1 数据集
  • 8.3.2 结果分析
  • 8.4 本章小结
  • 第九章 结束语
  • 9.1 本文总结
  • 9.2 未来展望
  • 参考文献
  • 致谢
  • 在学期间的研究成果及发表的学术论文
  • 附录
  • 相关论文文献

    • [1].基于集成学习的多重集典型相关分析方法[J]. 计算机工程与应用 2017(06)
    • [2].典型相关分析应用常见问题分析及处理[J]. 沈阳体育学院学报 2011(05)
    • [3].灰典型相关分析研究与应用[J]. 计算机工程与科学 2009(06)
    • [4].健康素养与健康状况的典型相关分析[J]. 中国卫生统计 2009(06)
    • [5].基于典型相关分析的基础研究投入与区域创新能力关系研究[J]. 未来与发展 2017(04)
    • [6].稀疏保持典型相关分析及在特征融合中的应用[J]. 自动化学报 2012(04)
    • [7].增强组合特征判别性的典型相关分析[J]. 模式识别与人工智能 2012(02)
    • [8].矩阵分解在典型相关分析与线性判别法中的应用[J]. 苏州科技大学学报(自然科学版) 2020(02)
    • [9].创新网络结构特征对创新产出的典型相关分析[J]. 统计与决策 2019(02)
    • [10].基于2017年城乡居民收支构成的典型相关分析[J]. 统计与管理 2019(02)
    • [11].运用特征空间最大信息的典型相关分析来描述功能成像数据的非线性关系[J]. 电子世界 2017(02)
    • [12].增强的典型相关分析及其在人脸识别特征融合中的应用[J]. 计算机辅助设计与图形学学报 2009(03)
    • [13].基于信息典型相关分析的盲源分离算法[J]. 东南大学学报(自然科学版) 2009(06)
    • [14].内蒙古城镇居民消费的典型相关分析[J]. 经济论坛 2013(05)
    • [15].基于超限学习机的非线性典型相关分析及应用[J]. 智能系统学报 2018(04)
    • [16].凸判别型典型相关分析[J]. 模式识别与人工智能 2017(08)
    • [17].有样本缺失的稀疏保持典型相关分析[J]. 模式识别与人工智能 2014(02)
    • [18].改进的二维典型相关分析及其人脸识别应用[J]. 计算机工程 2012(10)
    • [19].基于核典型相关分析的字符识别[J]. 光电子.激光 2008(04)
    • [20].典型相关分析中的统计检验问题[J]. 统计研究 2008(07)
    • [21].边界监督多重集典型相关分析[J]. 聊城大学学报(自然科学版) 2019(03)
    • [22].联合标签预测与判别投影学习的半监督典型相关分析[J]. 中国图象图形学报 2019(07)
    • [23].核典型相关分析特征融合方法及应用[J]. 计算机科学 2016(01)
    • [24].两整体基因交互作用的核典型相关分析[J]. 卫生研究 2015(04)
    • [25].基于自适应权值稀疏典型相关分析的人脸表情识别算法[J]. 北京工业大学学报 2014(01)
    • [26].基于核典型相关分析的五元平面十字阵无源定位算法[J]. 系统工程与电子技术 2011(08)
    • [27].茎瘤芥(榨菜)农艺性状的典型相关分析[J]. 西南农业学报 2008(06)
    • [28].基于支持向量机优化参数的集成多核典型相关分析[J]. 科技管理研究 2018(15)
    • [29].基于低秩分解的鲁棒典型相关分析[J]. 智能系统学报 2017(04)
    • [30].基于典型相关分析的多视图跨领域情感分类[J]. 计算机工程 2010(24)

    标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

    增强型典型相关分析研究与应用
    下载Doc文档

    猜你喜欢