三维及多模态人脸识别研究

论文摘要

目前的二维人脸识别系统在受控条件下能取得很好的性能,但在光照、姿态、表情等因素影响下性能将急剧下降。三维人脸识别可以克服或减轻这些因素的影响。融合二维和三维信息的多模态人脸识别可望取得更好的识别效果。本文对三维及多模态人脸识别的若干算法进行了研究。首先提出了一个基于迭代对应点(ICP)的三维人脸识别方法。先通过聚类算法去除人脸点云的局外点,再以鼻尖为中心提取感兴趣区域,并变换到姿态坐标系进行粗略配准。利用人脸对称性填补孔洞,提高了人脸数据的质量。再用ICP算法进行精细配准,采用最近邻分类器进行分类。实验结果表明该方法能够处理一定程度的人脸姿态变化,即便人脸数据的质量不高,仍能取得较好的识别效果。提出了一种将三维局部二值模式(3DLBP)和广义判别分析(GDA)相结合的三维人脸识别算法。将人脸深度图像分成多个区域后,采用3DLBP算子从各区域提取直方图特征,并将各区域3DLBP直方图连成一个向量,作为人脸深度图像的特征,采用改进高斯核函数的GDA作为分类器。实验结果表明,3DLBP和GDA结合的识别率要优于PCA和3DLBP。采用多种方法对人脸深度图像和灰度图像进行融合。对LBP算子和局部Gabor二值模式(LGBP)算子进行了详细的比较。实验结果表明LBP和Fisher判别分析(FDA)方法的结合要优于其它方法,在其融合人脸深度图像和灰度图像后,性能较单一信息有进一步的提升。基于LGBP的各方法与基于LBP的相应方法相比,在计算量和存储量上要大很多,但在性能上却没有优势。提出了一种基于LBP和级联AdaBoost的多模态人脸识别方法。采用级联AdaBoost方法分别从人脸深度图像和灰度图像的大量区域LBP直方图(RLBPH)中选取最有利于分类的RLBPH,并连接成一个直方图向量。分别用FDA构建线性子空间,再用多种方法进行融合。实验结果表明,级联AdaBoost选出的少量RLBPH特征取得了较好的识别效果,若增加特征数,则可进一步提高识别性能。

论文目录

• 中文摘要
• ABSTRACT
• 第一章 绪论
• 1.1 引言
• 1.2 人脸识别算法性能评测
• 1.2.1 两种认证模式
• 1.2.2 评价指标
• 1.2.3 常用三维人脸数据库
• 1.2.4 评测项目
• 1.3 三维及多模态人脸识别算法综述
• 1.3.1 基于三维点云的方法
• 1.3.2 基于子空间的方法
• 1.3.3 基于轮廓线的方法
• 1.3.4 基于其它特征的方法
• 1.3.5 基于多分类器融合的方法
• 1.3.6 多模态融合的方法
• 1.4 三维人脸数据获取技术
• 1.4.1 立体视觉
• 1.4.2 结构光
• 1.5 本文主要工作和创新点
• 1.6 本文的组织结构
• 第二章 基于ICP 的三维人脸识别
• 2.1 迭代对应点算法（ICP）
• 2.1.1 概述
• 2.1.2 ICP 算法分类
• 2.1.3 本文采用的ICP 算法
• 2.2 基于ICP 的识别方法
• 2.2.1 滤除局外点
• 2.2.2 提取人脸的感兴趣区域
• 2.2.3 粗略配准
• 2.2.4 填补孔洞
• 2.2.5 ICP 算法精细配准
• 2.3 实验结果
• 2.3.1 测试数据库介绍
• 2.3.2 算法性能比较和分析
• 2.4 本章小结
• 第三章 基于3DLBP 和广义判别分析的三维人脸识别
• 3.1 LBP 直方图特征表示
• 3.1.1 局部二值模式（LBP）
• 3.1.2 LBP 直方图序列（LBPHS）
• 3.1.3 LBPHS 的匹配
• 3.2 三维LBP（3DLBP）
• 3.3 广义判别分析（GDA）
• 3.3.1 符号表示
• 3.3.2 特征空间中的GDA 表示
• 3.3.3 特征值求解
• 3.4 3DLBP 和GDA 的结合
• 3.5 主成分分析（PCA）
• 3.6 实验结果
• 3.6.1 测试数据库介绍
• 3.6.2 算法性能比较和分析
• 3.7 本章小结
• 第四章 LBP 和LGBP 算子的比较研究
• 4.1 LGBP 直方图特征表示
• 4.1.1 Gabor 幅值图谱
• 4.1.2 局部Gabor 二值模式（LGBP）
• 4.1.3 LGBP 直方图序列（LGBPHS）
• 4.1.4 LGBPHS 的匹配
• 4.2 Fisherfaces 方法
• 4.3 集成分段FDA（EPFDA）
• 4.4 多模态融合方法
• 4.5 实验结果
• 4.5.1 测试数据库介绍
• 4.5.2 算法性能比较和分析
• 4.6 本章小结
• 第五章 基于LBP 和级联AdaBoost 的多模态人脸识别
• 5.1 AdaBoost 算法
• 5.2 基于级联AdaBoost 的LBP 特征选择
• 5.3 AdaLBPH 的Fisher 判别分析
• 5.4 多模态融合方法
• 5.5 实验结果
• 5.6 本章小结
• 第六章 总结和展望
• 6.1 本文的工作总结
• 6.2 今后的工作展望
• 参考文献
• 发表论文和科研情况说明
• 致谢