基于核函数的最大后验概率的分类方法的研究及其应用

论文摘要

模式识别是人工智能领域的一个重要分支,它是伴随着信息化、科技化的发展而逐步形成的一门学科,在多种场合有着重要应用。模式识别的本质要求就是根据算法完成分类功能。从分类的对象上,分类包括人脸分类和文本分类等。人脸识别技术作为模式识别技术中研究时间长、技术比较成熟的一项,多年来,一直是众多学者研究的热点。以前关于人脸识别技术的研究多数集中在线性识别方法以及对其改进的算法上,取得的效果并不是特别理想。近年来,统计理论和核函数的快速发展极大地促进了人脸识别技术的向前推进,将人脸识别方法定位到统计学中,并在此基础上展开研究。文本分类中的待研究对象通常以显式形式表示,与人脸识别相比,比较简单。分类技术作为模式识别技术中的基础技术,其应用需求广泛,因此,研究分类算法具有重大意义。本文的研究目的是在分析多分类方法的基础上,提出能够更好的适应样本数据分布特性的新的多分类方法。文中首先阐述了多分类方法的基本理论,指出特征抽取技术对于信息提炼的重要性,其次,针对线性分类方法无法处理样本数据线性不可分情况,引入核函数概念,阐述基于核函数的分类方法理论,最后,提出依据概率密度函数分布情况设计分类器的方法。重点在于:(一)分析非参数估计法中的Parzen窗估计法,提出Parzen窗估计下,基于核函数的最大后验概率分类方法PKMAP,详细阐述了该算法理论以及对于小样本数据的概率密度函数估计的准确性,同时指出其在时间复杂度上的缺点;(二)分析参数估计法中的多元t分布情况,并将其余贝叶斯理论以及核函数相结合,提出多元t分布下基于核函数的最大后验概率多分类方法TKMAP,并在文本数据集和人脸数据集中验证种算法的实验性能;(三)将TKMAP方法用于含重尾噪声点的人脸图像中。在人脸图像中加入五种类型的重尾噪声,以验证TKMAP方法对于重尾噪声的抗噪能力。本文不仅对分类算法理论和原理做了比较系统和详细的阐述,而且通过在国际文本数据集UCI和人脸数据集Yale和Umist、ORL和BioID上进行了算法验证。UCI数据集和人脸数据集中的实验结果表明,本文提出的方法具有可行性和有效性。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 引言
• 1.2 模式识别技术
• 1.2.1 模式识别基本概念
• 1.2.2 模式识别特点
• 1.2.3 模式识别方法
• 1.3 人脸识别技术
• 1.3.1 人脸识别技术的研究内容
• 1.3.2 人脸识别技术发展现状
• 1.3.3 人脸识别技术的重大意义
• 1.4 论文章节安排
• 第二章 常用的多分类识别方法
• 2.1 引言
• 2.2 线性特征提取方法
• 2.2.1 主成分分析方法PCA
• 2.2.2 线性判别分析方法LDA
• 2.2.3 PCA+LDA
• 2.3 核方法概述
• 2.3.1 核函数的构造
• 2.3.2 核方法特点
• 2.4 非线性特征提取方法
• 2.4.1 核主成分分析方法KPCA 概述
• 2.4.2 核Fisher 判别分析方法KFDA 概述
• 2.5 本章小结
• 第三章 贝叶斯理论方法
• 3.1 引言
• 3.2 类条件概率密度函数估计
• 3.2.1 参数估计法
• 3.2.2 非参数参数估计法
• 3.3 先验概率和后验概率
• 3.3.1 先验概率与后验概率
• 3.3.2 先验概率、后验概率与类条件概率密度函数的关系
• 3.4 贝叶斯决策准则
• 3.4.1 最小错误率准则
• 3.4.2 最小风险准则
• 3.4.3 最小最大化准则
• 3.5 贝叶斯分类方法步骤
• 3.6 本章小结
• 第四章 基于核函数的最大后验概率分类方法
• 4.1 引言
• 4.2 欧式距离与马氏距离
• 4.3 多元高斯分布与多元t 分布
• 4.4 三种概率密度函数估计方法在核空间的公式推导
• 4.4.1 协方差矩阵规整化
• 4.4.2 协方差矩阵对角化
• 4.4.3 马氏距离公式的变换
• 4.4.4 实验步骤
• 4.5 仿真实验及分析
• 4.5.1 Parzen 窗估计法中的实验结果及分析
• 4.5.2 多元高斯分布和多元t 分布下的实验结果及分析
• 4.6 本章小结
• 第五章 含重尾噪声的人脸图像的多分类识别方法
• 5.1 引言
• 5.2 重尾噪声模型
• 5.3 模拟实验及分析
• 5.3.1 实验步骤
• 5.3.2 实验结果
• 5.3.3 噪声图像的概率密度函数分布分析
• 5.4 本章小结
• 第六章 总结与展望
• 6.1 论文工作总结
• 6.2 论文展望
• 致谢
• 参考文献
• 附录：作者在攻读硕士学位期间发表的论文