有限混合模型、非线性二维主成分分析及其在模式分类中应用

论文题目: 有限混合模型、非线性二维主成分分析及其在模式分类中应用

论文类型: 博士论文

论文专业: 计算机应用技术

作者: 王海贤

导师: 韦穗

关键词: 无监督学习,特征提取,有限混合模型,期望最大化算法,多维分布,分量数目,人脸识别,特征脸,二维主成分分析,概率二维主成分分析,混合概率二维主成分分析,核二维主成分分析

文献来源: 安徽大学

发表年度: 2005

论文摘要: 本文以统计理论为基础,研究两个方面的内容:(a)对有限混合模型的有关议题进行了较为系统的研究;(b)结合人脸识别问题,研究了二维主成分分析的非线性扩展。在统计模式识别中,有限混合模型是一种正式的(基于模型的)无监督聚类方法,而基于二维主成分分析的方法的核心问题是研究无监督的特征提取。它们都属于统计模式识别中无监督的范畴,无监督方法的特点是直接利用没有类别标记的样本进行学习或特征提取。本文的主要研究内容及创新如下: 研究一族重尾分布—多维t分布的有限混合模型。我们常用Gauss混合分布来对多维数据集进行聚类或拟合,但在许多应用中,Gauss分布的尾部比需要的要轻,而且分量均值和方差矩阵的估计会受到关于分量的非典型观测样本的严重影响。作为一种鲁棒的替代方法,采用多维t混合分布建模是一种标准的选择。此外,多维数据集常不可避免地有丢失值发生。我们基于极大似然估计,利用期望最大化算法导出了有数据随机丢失时多维t混合分布的拟合框架。这里,期望最大化算法既用来处理丢失值又用来估计模型参数。获得的结果可用于广泛的无监督聚类及有监督判别问题。 对有限混合模型中分量数目g的估计进行研究。这是有限混合模型拟合的一个重要议题,一些经典的混合模型拟合方法(比如极大似然方法、Bayes方法)都是在固定g的情况下进行学习。然而有时g的值不可得知,我们必须从获得的数据集对其(及模型其它参数)进行推断。这是模型选择的问题,也是用期望最大化算法拟合有限混合模型的主要困难,因为期望最大化算法本身不能估计g;相反,它需要事先指定g才能进行模型其它参数的估计。为了解决这个问题,我们提出了一种无监督学习有限混合模型的逐步分裂融合期望最大化算法。这里的无监督有三层含义:(a)没有/不需利用样本的类别信息;(b)能够自动估计g;(c)不需要仔细的初始化。该算法交替分裂和融合混合分量,从而同时估计g及模型其它参数。此外,用来有效选择分裂或融合操作的两个新准则也被提出。实验结果显示了该算法的有效性。 研究概率二维主成分分析及其混合模型,及它们在人脸识别中的应用。主成分分析(或特征脸)是一种成功的子空间人脸识别方法,并且已成为事实上的人脸识别领域其它方法识别性能的评测基准。然而,几乎所有基于特征脸的人脸识别方法,都是在高维的图像空间进行,这使得寻找脸空间的计算不易。最近提出的二维主成分分析直接基于原始图像矩阵计算,摆脱了特征脸方法从图像矩阵向向量转换的限制,被证明了是一种高效的人脸识别方法。我们考虑一个新的图像空间—图像矩阵的行所在的

论文目录:

中文摘要

英文摘要

第零章 绪论

0.1 引言

0.1.1 模式识别的五种基本方法

0.1.2 统计模式识别系统

0.2 统计模式识别中的无监督方法

0.2.1 无监督分类

0.2.2 维数灾难与无监督特征提取

0.3 论文的研究内容、组织结构及创新之处

第一章 有限混合模型的极大似然拟合及其期望最大化算法

1.1 引言

1.2 有限混合模型的定义及说明

1.2.1 有限混合模型的定义

1.2.2 混合模型释义

1.2.3 混合模型的可辨识性

1.3 混合模型的极大似然拟合

1.3.1 极大似然估计

1.3.2 应用期望最大化算法于混合模型

1.4 多维Gauss混合模型

1.4.1 异方差Gauss分量

1.4.2 等方差Gauss分量

1.5 本章小节

第二章 有数据随机丢失时多维t混合的鲁棒建模

2.1 引言

2.2 多维t分布的定义

2.3 多维t混合模型的极大似然拟合

2.4 有数据随机丢失时多维t混合模型的极大似然拟合

2.4.1 E步

2.4.2 M步

2.5 实验结果

2.6 本章小节

第三章 混合模型中分量数目的估计

3.1 引言

3.1.1 文献综述：混合模型阶数的估计方法

3.2 估计混合模型阶数的逐步分裂融合期望最大化算法

3.2.1 逐步分裂融合期望最大化算法描述

3.2.2 分裂和融合操作的准则

3.3 实验结果

3.3.1 例子

3.3.2 性能分析

3.3.3 讨论

3.4 本章小节

第四章 线性、非线性主成分分析与因子分析

4.1 引言

4.2 主成分分析

4.3 因子分析

4.4 概率主成分分析

4.5 混合因子分析器

4.6 混合概率主成分分析器

4.7 核主成分分析

4.8 本章小节

第五章 概率二维主成分分析及其混合模型：人脸识别方法

5.1 引言

5.2 二维主成分分析

5.3 概率二维主成分分析

5.3.1 二维主成分分析的均值校正

5.3.2 概率二维主成分分析的模型

5.3.3 特征提取

5.3.4 概率二维主成分分析的期望最大化算法

5.4 混合概率二维主成分分析器

5.5 实验结果

5.5.1 在ORL图像库上的实验结果

5.5.2 在UMIST图像库上的实验结果

5.6 本章小节

第六章 核二维主成分分析：人脸识别的核方法

6.1 引言

6.2 核二维主成分分析

6.2.1 基本的核二维主成分分析

6.2.2 改进的核二维主成分分析Ⅰ

6.2.3 改进的核二维主成分分析Ⅱ

6.2.4 改进的核二维主成分分析Ⅲ

6.3 实验结果

6.4 本章小节

第七章 总结与展望

参考文献

攻读博士学位期间发表的论文

致谢

发布时间: 2005-09-20

参考文献

• [1].基于机器学习的信息过滤和信息检索的模型和算法研究[D]. 张亮.天津大学2007

相关论文

• [1].人脸检测和识别的研究[D]. 刘直芳.四川大学2004
• [2].隐马尔可夫模型的研究及其在图像识别中的应用[D]. 李杰.清华大学2004
• [3].基于核的联想记忆及聚类算法的研究与应用[D]. 张道强.南京航空航天大学2005
• [4].红外图像人脸识别方法研究[D]. 李江.国防科学技术大学2005
• [5].基于融合的人脸识别方法研究[D]. 张永梅.中北大学2005
• [6].基于Gabor小波变换的人脸识别[D]. 李云峰.大连理工大学2006
• [7].基于统计特征的人脸识别技术研究[D]. 苏宏涛.西北工业大学2004
• [8].人脸识别技术研究[D]. 周德龙.西北工业大学2000

标签：无监督学习论文;  特征提取论文;  有限混合模型论文;  期望最大化算法论文;  多维分布论文;  分量数目论文;  人脸识别论文;  特征脸论文;  二维主成分分析论文;  概率二维主成分分析论文;  混合概率二维主成分分析论文;  核二维主成分分析论文;