光照变化条件下的人脸检测与识别算法研究

论文摘要

鲁棒的人脸检测、识别系统应当能够处理在各种不同条件下采集的人脸图像，其中的可变因素包括表情、光照、姿态、时间等。本文主要针对光照变化条件下的人脸检测、识别问题，从图像增强和建立光照子空间两个方面做了相关的研究，主要成果如下：针对利用球谐函数估计图像的光照状态，需要已知物体表面法向量的限制，本文基于平面模型推导出估计人脸图像的光照状态的线性方法，并且提出利用“逆图像”与原图像相互补偿的策略，实现了对人脸图像光照状态的调整。其中，补偿的权值可由图像本身的光照状态而确定。本文不但从理论上证明了线性光照估计的合理性，并且应用在人脸检测实验中也取得了较好的结果。根据反射理论，朗伯反射体的双方向反射函数可以看作是一个低通滤波器，使得其反射光线主要由低频信息组成。但由于人脸的非凸性或者光源的不连续性，人脸图像中往往还会包含一些高频信息，如：阴影边缘等。基于Winner滤波器的自适应性，本文给出利用Wiener滤波器从图像中提取信息作为对光照状态的估计的方法。由于Wiener滤波器在提取低频信息的同时，也保留了部分高频信息，使得对光照的估计更加准确。在调整图像的光照状态时，仍然采用了“逆图像”与原图像互补的策略。通过人脸检测实验，验证了该方法调整图像光照状态的有效性。根据环境中光照状态的变化，人的视觉系统会作自适应的调整，使得成像效果达到最佳。模拟人的视觉自适应调整机制，本文推导出一个光照全局调整函数，并提出利用图像本身的光照状态来确定调整函数参数的方法，实现了对图像光照状态自适应的调整。经过全局调整函数调整之后，曝光不足图像的对比度和灰度绝对值均有相应的提高；过度曝光图像的对比度也会有所提高，同时灰度绝对值有所下降。光照全局调整函数可以极大的改善图像质量，人脸检测实验验证了调整效果。针对光照全局调整函数中可能会忽略图像中局部细节信息的问题，本文利用局部信息与整体信息相结合的策略，给出了光照细节调整函数。对于函数中的参数，本文提出通过对图像质量的评价实现参数优化的方法，并以灰度熵作为评价的客观标准。光照细节调整函数中，每点的局部信息与图像的全局信息通过双线性差值结合在一起，共同决定了对该点的调整程度，有效补偿了全局调整函数对于较亮信息的细节抑制作用。经过细节函数调整之后，图像的局部细节丰富、整体亮度适中，图像中信息的可辨识度有所提高。利用光照细节调整函数作为人脸检测算子的预处理方法，可以有效的提高检测系统的检测率。鉴于9点光照子空间的基图像可以较容易的在真实物理环境中采集到，本文提出基于最大后验概率估计从单张图像恢复目标物体9点光照子空间的算法。与其它同类算法相比，本文提出算法的训练样本更容易获得，可操作性更强。而且利用目标物体任意光照状态下的单张图像都可恢复出该物体的9点光照子空间，具有一定的推广性。多个标准人脸数据库上的各种光照状态下的人脸识别实验，验证了该算法恢复出的9点光照子空间，可以很好的表达目标物体在不同光照条件下图像的变化。基于图像增强的各种光照处理算法(线性光照估计与补偿、基于Wiener滤波的光照估计与补偿、光照全局调整、光照细节调整)不需要先验知识，直接利用图像本身的光照状态作相应的调整。建立光照子空间的光照处理算法，虽然需要训练样本，但对光照变化描述的更加准确。实际应用中可根据不同的条件选择不同的算法。

论文目录

• 摘要
• Abstract
• 目录
• 第一章 绪论
• 1.1 研究背景
• 1.2 人脸检测的发展
• 1.2.1 基于知识的方法
• 1.2.2 基于特征的方法
• 1.2.3 模板匹配
• 1.2.4 基于图像的特征
• 1.3 人脸识别的发展
• 1.3.1 子空间分析
• 1.3.2 弹性图匹配
• 1.3.3 神经网络
• 1.3.4 其他方法
• 1.4 论文的结构
• 第二章 光照作用
• 2.1 光照模型
• 2.1.1 漫反射
• 2.1.2 镜面反射
• 2.1.3 环境光反射
• 2.1.4 光源的分类
• 2.1.5 反射率
• 2.2 光照处理方法综述
• 2.2.1 增强图像
• 2.2.2 光照不变性特征
• 2.2.3 基于光照变化建模
• 2.3 小结
• 第三章 基于球谐函数的线性光照处理
• 3.1 引言
• 3.2 基于球谐函数的光照理论
• 3.2.1 假设前提
• 3.2.2 二维平面上的反射方程
• 3.2.3 三维空间中的反射方程（函数）
• 3.2.4 频率域分析
• 3.3 线性光照估计与补偿
• 3.3.1 朗伯体表面反射方程
• 3.3.2 人脸图像的线性光照估计
• 3.3.3 光照补偿
• 3.3.4 线性光照估计与补偿实验
• 3.4 基于低通滤波的光照估计与补偿
• 3.4.1 低通滤波器
• 3.4.2 光照调整和补偿
• 3.4.3 人脸检测实验
• 3.5 小结
• 第四章 基于视觉感知的光照处理
• 4.1 引言
• 4.2 视觉系统的自适应调整
• 4.2.1 瞳孔
• 4.2.2 感光细胞
• 4.2.3 视觉色素的漂白和再生
• 4.2.4 视神经系统
• 4.2.5 视觉调整的物理模型
• 4.3 基于视觉感知的全局光照调整
• 4.3.1 全局映射函数
• 4.3.2 全局映射函数的参数选择
• 4.3.3 实验
• 4.4 结合局部信息的光照调整
• 4.4.1 细节调整函数
• 4.4.2 图像质量的评价
• 4.4.3 参数的优化
• 4.4.4 实验
• 4.5 小结
• 第五章 从单幅图像恢复人脸光照
• 5.1 引言
• 5.2 光照理论
• 5.2.1 光照锥理论
• 5.2.2 对光照锥的低维近似
• 5.3 利用统计模型估计光照子空间
• 5.3.1 建立统计模型
• 5.3.2 应用统计模型
• 5.4 实验结果
• 5.4.1 恢复出的基图像结果
• 5.4.2 人脸识别方法
• 5.4.3 低维光照子空间
• 5.4.4 多光源条件下的人脸识别
• 5.5 小结
• 第六章 总结与展望
• 6.1 本文工作总结
• 6.2 研究展望
• 参考文献
• 攻读博士学位期间发表论文
• 致谢
• 附录一 Legendre函数
• 附录二 基于Gabor特征的人脸检测
• F2.1 提取Gabor特征
• F2.1.1 Gabor滤波器
• F2.1.2 Gabor特征
• F2.2 特征选择
• F2.2.1 AdaBoost的训练
• F2.2.2 层叠结构
• F2.2.3 链状结构
• F2.3 人脸检测器的训练
• 附录三 文中所用人脸数据库
• F3.1 PIE人脸数据库
• F3.2 Yale人脸数据库B
• F3.3 AR人脸数据库
• F3.4 FERET人脸数据库
• F3.5 BioID人脸数据库