红外与可见光人脸图像的融合识别算法研究

论文摘要

生物特征识别技术是一种具有高可靠性和高稳定性的身份鉴别技术。在各种生物特征识别技术中,人脸的识别技术是一项极具有发展潜力的生物特征识别技术,同时也是计算机视觉与模式识别领域非常活跃的研究课题,它在公共安全、信息安全、金融等领域具有潜在的应用前景。多模态人脸图像的融合识别,是对多种传感器提供的人脸图像进行融合处理,结合不同模态图像之间的互补信息以获得更好的识别性能。这种融合技术既保持了原有人脸识别算法的性能,又能融合多种传感器提供的有效鉴别信息,提高识别的精度和鲁棒性。因此,这是一个很有前景的研究课题。但是,这一新的领域目前还只是刚刚起步,有许多问题急需解决。因此迫切需要开展广泛深入的基础理论和技术的研究工作。本文在已有红外与可见光人脸图像融合识别研究成果的基础上,从特征层和分值匹配层上对人脸多模态融合识别技术进行了探讨和研究。论文的主要研究工作和成果包括以下几个主要方面的内容:1、提出了一种基于Fisher线性鉴别的典型相关分析的多模态人脸融合识别算法从Fisher线性鉴别分析和典型相关分析的思想出发,提出一种针对多模态信息在特征层上抽取新鉴别特征用于模式分类算法,称为基于Fisher线性鉴别的典型相关分析（Fisher Linear Discriminant based Canonical Correlation Analysis,简称FLDA+CCA）。给出了将FLDA和CCA用于模式识别的理论框架。算法依据FLDA的判据准则函数分别抽取两组模式的特征矢量,再根据CCA思想建立描述两组特征矢量之间相关性的判据准则函数,依据此准则求取两组典型投影矢量集,通过给定的特征融合策略抽取组合特征用于模式分类。解决了当模式构成的总体协方差矩阵奇异时,FLDA投影矢量集的求解问题,使之适合于高维小样本的情形,推广了算法的适用范围。新算法对两组信息先降维聚类后建立相关融合的做法,既消除了模态内的冗余信息,又建立了不同模态信息之间的相关联系,达到信息互补的目的,为融合两组模态信息用于分类识别提供了新的途径。实验表明该算法能有效的提高识别率。2、提出一种多模态人脸非均匀局部特征融合算法局部特征抽取方法是从原始数字图像出发,先对图像进行分块,再对分块得到的子图像矩阵使用线性鉴别分析方法抽取模式特征,它是全局线性鉴别分析方法的推广。由于人脸图像内不同区域信息的鉴别能力不同,原先的均匀分块方法不能有效的反映面部鉴别信息的分布情况。为了抽取更具鉴别意义的局部特征,本文采用遗传算法从人脸图像中优选出取具有较多鉴别信息的子图像区域作为特征抽取的基础;抽取局部特征结合全局特征用于模式分类。新算法在红外和可见光人脸融合识别实验中表现出很好的识别性能。3、设计提出一种融合多模态人脸信息的双阈值分类器受Dempster-Shafer证据理论思想的启发,针对分值匹配层的多模态人脸信息融合问题,设计提出一种融合多模态人脸信息的双阈值分类器（Two-Threshold Classifier,简称2TC）。分类器根据Neyman-Pearson准则和样本在模式空间内的分布特性秉承D-S理论思想将模式空间划分为样本类别确定区域和不确定区域:对不确定类别的区域内样本采用Fisher线性判别准则分类。双阈值分类器根据样本在模式空间中所处的不同位置,依次采用不同的分类策略进行类别区分,有效的降低了错误分类事件的发生率,提高了正确识别率。在NDHID和Equinox人脸数据库上的实验证明了新分类器的有效性。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 生物特征识别技术
• 1.1.1 生物特征识别技术的分类
• 1.1.2 生物特征识别技术性能比较
• 1.1.3 生物特征识别技术发展前景
• 1.2 人脸识别技术
• 1.2.1 人脸识别的研究内容
• 1.2.2 自动人脸识别的技术难点
• 1.2.3 人脸识别系统性能评价指标
• 1.3 多生物特征融合识别
• 1.3.1 多模态人脸图像融合识别的研究背景及意义
• 1.3.2 多模态人脸融合识别的研究现状
• 1.4 本文的主要工作
• 1.5 本文的结构安排
• 2 人脸识别的研究现状及其主要理论方法
• 2.1 人脸识别研究历史概述及国内外研究现状
• 2.2 人脸识别主要理论方法概述
• 2.2.1 基于几何特征方法
• 2.2.2 基于模板匹配的方法
• 2.2.3 基于子空间分析的方法
• 2.2.4 基于机器学习的方法
• 2.2.5 基于模型的方法
• 2.2.6 基于局部特征的方法
• 2.3 人脸识别图像库
• 2.4 人脸识别算法评测与竞赛
• 2.5 小结
• 3 基于Fisher线性判别和典型相关分析的多模态人脸特征融合
• 3.1 引言
• 3.2 前人的工作
• 3.2.1 Fisher线性鉴别分析（FLDA）
• 3.2.2 典型相关分析（CCA）
• 3.2.3 FLDA与CCA之间的联系
• 3.3 基于Fisher线性鉴别的典型相关分析（FLDA+CCA）
• 3.4 高维小样本情况下的讨论
• 3.5 实验
• 3.5.1 训练与测试图像中包含表情变化
• 3.5.2 训练与测试图像中包含光照变化
• 3.6 小结
• 4 多模态人脸非均匀局部特征融合
• 4.1 引言
• 4.2 遗传算法
• 4.2.1 遗传算法的基本思想
• 4.2.2 基本遗传算法
• 4.3 基于遗传算法的多模态人脸图像非均匀局部特征抽取
• 4.3.1 分块算法
• 4.3.2 非均匀子图像块的选取
• 4.3.3 个体编码
• 4.3.4 适应度函数
• 4.3.5 选择
• 4.3.6 交叉和变异算子
• 4.3.7 特征抽取
• 4.4 实验
• 4.4.1 训练与测试图像中包含表情变化
• 4.4.2 训练与测试图像中包含光照变化
• 4.5 小结
• 5 融合多模态人脸信息的双阈值分类器
• 5.1 引言
• 5.2 常用的分值匹配层融合方法
• 5.3 基于双阈值分类器的决策融合
• 5.3.1 Dempster-Shafer证据理论
• 5.3.2 模式空间中确定区域（CR）与不确定区域（UR）的划分
• 5.3.3 对不确定区域内样本的Fisher线性判别分析
• 5.3.4 分类器设计
• 5.4 实验
• 5.4.1 在NDHID人脸数据库上的实验
• 5.4.2 在Equinox人脸数据库上的实验
• 5.4.3 讨论
• 5.5 小结
• 6 结论与展望
• 6.1 本文工作总结
• 6.2 对未来工作的展望
• 参考文献
• 攻读博士学位期间发表学术论文情况
• 攻读博士学位期间参与的课题与项目
• 致谢
• 作者简介