基于t-混合模型和扩展保局投影的聚类与降维方法研究

论文摘要

模式识别作为一门多领域交叉的学科，在近几十年得到了蓬勃发展。它不仅得到了众多科研人员的热情研究，而且受到了各级政府和组织的重视。世界上许多国家和地区的国防、公共安全部门以及工业界都积极投资模式识别技术的研究。其发展将对科技进步、国防、公共安全、工业制造、人民生活等水平产生深远影响。 本文以统计理论和图谱方法为基础，重点研究模式识别中的聚类和降维这两方面的内容：（ⅰ）在聚类中，结合图像分割，对有限混合模型的参数估计方法进行了较为深入的研究：（ⅱ）在降维中，结合图像识别，研究了保局投影及其二维和线性混合的扩展。本文研究的主要内容及创新如下： 研究多元t-密度的有限混合模型的参数估计方法，构建了多元t-混合模型的SMEM算法。t-密度尾部较重，抗噪性能好，是替代高斯密度的标准选择。EM算法是求解混合密度的参数估计的常用算法。而常规的EM算法经常收敛到局部最优而非全局最优。我们采用了把分量进行分裂合并，使参数跳出局部最优来寻找全局最优的思想，构建了多元t-混合模型的SMEM算法，并且提出了一个基于样本均值和方差的分裂合并准则。实验验证了我们的算法性能良好。 根据局部Kullback散度，构建了多元t-混合模型的贪婪EM算法的框架。从一个混合分量开始，逐个地分裂拟合最差的分量并用EM算法修正各分量的参数。相对于SMEM算法，贪婪EM算法具有它的优势：易于参数初始化、速度快且性能相当、产生的混合模型序列便于模型选择。实验验证了贪婪EM算法的速度快且性能和SMEM算法相当。 研究保局投影（LPP）及其低样本量时的解法，提出LPP／QR算法。LPP能够保持数据的局部信息且能发现数据流形的内在结构。但对小样本情形，矩阵存在奇异性，LPP无法直接使用。我们提出基于QR分解的保局投影（LPP／QR）

论文目录

• 中文摘要
• 英文摘要
• 目录
• 第零章 绪论
• 0.1 引言
• 0.2 模式识别中的几个概念
• 0.3 聚类
• 0.4 降维
• 0.5 本文的工作
• 第一章 有限混合模型及其参数EM算法
• 1.1 引言
• 1.2 混合密度和可辨识性
• 1.2.1 混合密度的定义与解释
• 1.2.2 有限混合模型的可辨识性
• 1.3 极大似然估计及其EM算法
• 1.3.1 极大似然估计
• 1.3.2 有限混合模型的EM算法
• 1.4 多元高斯混合模型及其EM算法
• 1.5 模型选择
• 1.6 本章小结
• 第二章 稳健t-混合建模的EM算法
• 2.1 引言
• 2.2 多元t-混合模型及其参数EM算法
• 2.2.1 多元t-分布的定义
• 2.2.2 多元t-混合模型的极大似然估计及其EM算法
• 2.3 使用SMEM算法的稳健t-混合建模
• 2.3.1 引言
• 2.3.2 分裂合并等式
• 2.3.3 分裂合并方法
• 2.3.4 稳健t-混合建模的SMEM算法
• 2.3.5 实验结果
• 2.3.6 结论
• 2.4 稳健t-混合建模的贪婪EM算法
• 2.4.1 引言
• 2.4.2 贪婪EM算法
• 2.4.3 稳健t-混合建模的贪婪EM算法
• 2.4.4 实验结果
• 2.4.5 结论
• 2.5 本章小结
• 第三章 模式识别中的降维方法及分析
• 3.1 引言
• 3.2 主成分分析（PCA）
• 3.3 二维主成分分析（2D-PCA）
• 3.4 线性判别分析（LDA）
• 3.5 二维线性判别分析（2D-LDA）
• 3.6 非负矩阵分解（NMF）
• 3.7 MDS与ISOMAP
• 3.8 局部线性嵌入（LLE）
• 3.9 Laplacian Eigenmaps
• 3.10 本章小结
• 第四章 保局投影：一个新的线性降维方法
• 4.1 引言
• 4.2 保局投影（LPP）
• 4.3 基于QR分解的保局投影
• 4.3.1 引言
• 4.3.2 LPP／QR算法
• 4.3.3 与广义LPP的等价性
• 4.3.4 应用实验
• 4.3.5 结论
• 4.4 二维保局投影
• 4.4.1 引言
• 4.4.2 2D-LPP算法
• 4.4.3 2D-LPP与其它二维线性降维方法之间的联系
• 4.4.4 应用实验
• 4.4.5 结论
• 4.5 双向二维保局投影
• 4.5.1 引言
• 4.5.2 B2DLPP算法
• 4.5.3 应用试验
• 4.5.4 结论
• 4.6 本章小结
• 第五章 线性降维方法的混合模型
• 5.1 引言
• 5.2 主成分分析混合模型（PCA混合）
• 5.3 线性判别分析混合模型（LDA混合）
• 5.4 保局投影混合模型（LPP混合）
• 5.5 应用实验
• 5.5.1 在一个合成数据集上的实验
• 5.5.2 在Yale人脸图像库上的实验
• 5.6 本章小结
• 第六章 总结、讨论与下一步工作
• 参考文献
• 攻读博士学位期间发表的论文
• 致谢