基于双目视觉的三维人脸重建的研究

论文摘要

三维人脸模型作为一个极具趣味性和特殊性的人类特征,在很多领域有着广泛的应用,如三维人脸识别、三维游戏、视频会议和医疗等。由于人脸的复杂可变性,三维人脸重建一直是一个非常具有挑战性的课题。虽然三维人脸重建技术已经取得一定的成果,但大多是基于昂贵的设备或者对使用场合要求很高,而基于普通摄像机图像的三维人脸重建技术由于具有廉价、使用方便、自动化程度高等优点,近些年倍受关注。本文针对三维人脸模型在人脸识别上的应用,基于人眼双目视觉原理对三维人脸重建展开研究,目的是建立一个便捷有效的三维人脸重建系统。主要包括立体匹配和区域生长技术、摄像机标定、图像校正、重建区域提取、三维人脸重建等。1)在摄像机标定和图像校正方面,本文深入研究了目前常用的摄像机标定方法,实现了张正友摄像机标定方法并利用标定的参数对摄像机图像进行校正并取得了很好的效果。2)在人脸重建区域提取技术方面,实现了基于Adaboost算法和基于人脸肤色模型融合的人脸检测方法,并在此基础上进一步利用形态学技术提取三维人脸重建区域。此外,提出了一种用于保证图像校正后不受人脸重建区域提取影响的坐标约束方法。3)在立体匹配和区域生长方面,对目前常用的局部立体匹配算法和全局立体匹配算法、基于像素视差约束的区域生长策略和基于算法的区域生长策略进行深入研究,对Realtime立体匹配算法进行了改进,在叠加匹配代价中增加了相邻像素灰度差值和在交叉过程中使用不同的匹配代价,保证了种子像素的可靠性;此外,基于Realtime阈值,提出了一种融合阈值排序和置信度排序的区域生长策略,在生长阶段只利用WTA匹配算法结合SSD匹配代进行生长,既保证了生长区域的精度,又降低了整体算法耗时。4)最后,研究了三维人脸重建中的纹理映射技术,基于Visual2008、OpenCV和OpenGL设计了简单有效的算法实验平台,并通过实验验证了相关算法的有效性,实现了基于双目立体摄像机的逼真三维人脸重建。

论文目录

• 摘要
• Abstract
• 第一章 引言
• 1.1 三维人脸重建研究背景及意义
• 1.2 国内外三维人脸重建方法回顾与总结
• 1.2.1 基于特殊设备的直接三维人脸重建方法
• 1.2.2 基于通用模型的间接三维人脸重建方法
• 1.2.3 基于普通摄像机图像的三维人脸重建方法
• 1.3 本文的研究目标及贡献
• 1.4 本文的主要内容及结构安排
• 第二章 三维人脸重建系统总体设计
• 第三章 摄像机标定技术
• 3.1 本章介绍
• 3.2 摄像机模型
• 3.2.1 摄像机针孔模型
• 3.2.2 坐标系统及其变换关系
• 3.3 摄像机标定方法
• 3.3.1 传统摄像机标定方法
• 3.3.2 摄像机自标定方法
• 3.3.3 主动视觉摄像机标定方法
• 3.4 双目立体标定
• 3.4.1 双目立体标定原理
• 3.4.2 实验过程与结果分析
• 3.5 极线几何与图像校正
• 3.5.1 极线几何
• 3.5.2 图像校正
• 3.5.3 实验过程与结果分析
• 3.6 本章小结
• 第四章 三维人脸重建区域提取
• 4.1 本章介绍
• 4.2 图像预处理
• 4.2.1 中值滤波
• 4.2.2 光线补偿
• 4.3 人脸检测算法研究
• 4.3.1 基于肤色模型的方法
• 4.3.2 基于Adaboost 算法的方法
• 4.3.3 三维人脸重建区域提取方法
• 4.3.4 实验过程与结果分析
• 4.4 本章小结
• 第五章 立体匹配研究
• 5.1 本章介绍
• 5.2 立体匹配的约束条件
• 5.3 匹配代价计算
• 5.4 局部匹配算法
• 5.4.1 WTA 算法
• 5.4.2 Realtime 算法
• 5.5 全局匹配算法
• 5.5.1 动态规划算法
• 5.5.2 其它全局算法
• 5.6 算法总结与改进
• 5.7 实验过程与结果分析
• 5.8 本章小结
• 第六章 区域生长算法研究
• 6.1 本章介绍
• 6.2 主要的区域生长算法
• 6.2.1 区域生长算法原理
• 6.2.2 基于视差约束的区域生长策略
• 6.2.3 基于算法的区域生长策略
• 6.3 改进的区域生长算法
• 6.4 实验过程与结果分析
• 6.5 本章小结
• 第七章 三维人脸重建实现
• 7.1 本章介绍
• 7.2 三维人脸重建软硬件平台
• 7.2.1 软件平台
• 7.2.2 硬件平台
• 7.3 三维人脸点云重建
• 7.3.1 人脸三维信息恢复
• 7.3.2 三维人脸重建与纹理映射
• 7.3.3 三维人脸重建实验结果与分析
• 7.4 本章小结
• 第八章 结论与未来工作
• 参考文献
• 致谢
• 作者在攻读硕士期间主要研究成果