基于视频流的快速人脸检测与实时跟踪算法研究

论文摘要

基于视频流的人脸检测与跟踪是计算机视觉与模式识别领域的一个重要的研究课题,也是人脸信息处理领域的一项关键技术,已经成为研究者广泛关注的热点问题。自动人脸检测与跟踪技术在智能安全监控、人机交互视频会议、自动人脸识别、身份识别、虚拟现实等领域都有着广泛的应用前景和商业价值。尽管人脸检测与跟踪技术在可控条件下已经取得了很大的发展,并获得了可供实用的效果,但是,由于人脸结构自身模式的多变性、数字图像采集过程中的各种噪声干扰、各种实际环境的限制以及理论研究的不够成熟,仍然面临着巨大的挑战,比如,面部表情、人脸姿势、复杂背景、遮挡、观察视角以及光照条件变化等。本文针对这些应用条件的限制,主要研究了人脸检测技术、人脸跟踪技术,全面分析了国内外人脸检测技术以及人脸跟踪技术的发展,并对主要的实现算法进行了详细的研究和深入的分析。主要内容包括:1、针对AdaBoost算法基本知识做概要介绍,并以类Haar特征为基础,对弱分类器、强分类器以及级联分类器的构建过程进行了详细的阐述;研究并实现了AdaBoost算法的训练以及检测过程;最后,提出并实现对AdaBoost算法的改进方法,具体内容如下:（1）优化多尺度检测问题,同时采取了基于边缘特征的算法加速策略,降低了算法的计算复杂度,加快了检测的速度,使算法的性能大大提升。（2）选取不同的样本集,分别训练正面分类器和侧面分类器,并将他们串联形成一个多级结构的分类器,解决了多姿态条件下的人脸检测问题。大量的实验数据以及分类结果证明:改进后的AdaBoost人脸检测算法鲁棒性更好,适用范围更广,与传统AdaBoost人脸检测算法相比,其检测率得到了显著的提高。2、使用径向模板对旋转角度进行估计,成功地解决了平面内旋转模式下的人脸检测问题;利用多分类器级联结构有效地处理了平面外旋转模式下的人脸检测问题;另外,还针对人脸检测算法的扩展性进行探讨,使其能够由单一的人脸检测领域逐步扩展到更为广泛的目标检测应用领域中。3、深入研究了Mean Shift理论,以及其在目标跟踪方向的应用。由于Mean Shift难以克服跟踪目标对象形状大小变化的情况,因此本文接着研究了以Mean Shift为核心的CamShift算法,它是在Mean Shift算法基础之上实现的改进算法,能够很好地适应跟踪目标对象大小以及形状的变化。由于CamShift跟踪算法以颜色概率分布为基本,因此具有不受跟踪目标对象的大小、形状以及外界光照变化等环境因素影响的优点。但是CamShift算法也存在一些不足之处,例如,初始化跟踪窗口需要手动选取;当目标的色彩概率分布非常接近时,会出现跟踪目标丢失的情况等。针对这些不足,对CamShift算法做如下具体的改进:（1）利用AdaBoost人脸检测算法的检测过程来实现跟踪过程人脸的自动初始化;（2）为了兼顾了跟踪的速度与效果,采用跟踪与检测相互交替的方法;（3）提出了基于双眼模板匹配的CamShift人脸跟踪算法,以颜色概率分布图中的模板匹配成功与否作为算法迭代的终止条件,解决了场景中存在大面积类肤色干扰时跟踪失误的问题。为了在减少跟踪失误的同时最大限度的保证算法的实时性,模板匹配过程中对模板采取了简单的比例缩放和角度旋转并使匹配只在搜索窗上半部分进行。实验数据和结果表明,改进后的CamShift算法跟踪效果明显优于传统的CamShift算法,同时也保证了良好的实时性。4、根据上述理论及技术,在Visual C++ 6.0软件平台上开发并实现了一个自动化人脸检测与跟踪系统。该系统能够实时采集图像,并对视频流中的人脸进行检测及实时跟踪。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景及意义
• 1.1.1 研究背景
• 1.1.2 相关研究概念
• 1.1.3 涉及学科及理论
• 1.2 研究现状
• 1.2.1 人脸检测研究现状
• 1.2.2 人脸跟踪技术研究现状
• 1.3 本文工作及内容安排
• 1.3.1 主要工作
• 1.3.2 论文各章内容安排
• 第二章 人脸检测综述
• 2.1 人脸检测概述
• 2.2 基于统计的人脸检测算法
• 2.2.1 基于人工神经网络的方法
• 2.2.2 基于支持向量机的方法
• 2.2.3 主成分分析法
• 2.3 基于特征的人脸检测算法
• 2.3.1 基于轮廓对称性的人脸检测法
• 2.3.2 基于局部特征人脸检测
• 2.4 基于肤色模型人脸检测算法
• 2.4.1 色彩系统的表示及其转换
• 2.4.2 肤色模型的建立
• 2.4.3 基于肤色模型的人脸检测方法的小结
• 2.5 基于模板的人脸检测算法
• 2.5.1 固定模板人脸检测方法
• 2.5.2 可变形模板人脸检测方法
• 2.6 小结
• 第三章 基于类 HAAR 特征的人脸检测
• 3.1 评价标准
• 3.2 人脸特征的提取
• 3.2.1 Haar 变换
• 3.2.2 类Haar 特征
• 3.2.3 快速检测算法
• 3.3 构建分类器
• 3.3.1 弱分类器
• 3.3.2 强分类器
• 3.3.3 级联分类器
• 3.4 本章小结
• 第四章 ADABOOST 人脸检测算法的改进
• 4.1 ADABOOST算法
• 4.2 ADABOOST算法的训练过程
• 4.2.1 选择训练样本
• 4.2.2 训练过程的实现
• 4.3 改进 ADABOOST 算法
• 4.3.1 AdaBoost 算法的检测过程
• 4.3.2 优化多尺度检测问题
• 4.4 算法加速策略
• 4.5 小结
• 第五章 多姿态人脸检测
• 5.1 平面内旋转
• 5.1.1 径向模板
• 5.1.2 估算旋转角度
• 5.2 平面外旋转
• 5.3 多姿态人脸检测的实现
• 5.3.1 多姿态人脸的训练实现
• 5.3.2 多姿态人脸的检测实现
• 5.4 检测算法的扩展
• 5.5 小结
• 第六章 人脸跟踪算法的研究与实现
• 6.1 引言
• 6.2 人脸跟踪技术
• 6.2.1 概述
• 6.2.2 研究现状
• 6.3 人脸跟踪算法
• 6.3.1 颜色概率分布图
• 6.3.2 Mean Shift 算法
• 6.3.3 CamShift 算法
• 6.4 CAMSHIFT 人脸跟踪算法实现
• 6.4.1 CamShift 算法实现基本流程
• 6.4.2 使用AdaBoost 算法自动初始化跟踪窗口
• 6.4.3 人脸检测与跟踪交互进行
• 6.4.4 实验结果与分析
• 6.5 跟踪算法改进策略
• 6.5.1 双眼模板提取
• 6.5.2 模板的缩放
• 6.5.3 模板的旋转
• 6.5.4 实验结果
• 6.6 本章小结
• 第七章 总结与展望
• 7.1 本文工作总结
• 7.2 将来工作展望
• 参考文献
• 致谢
• 附录 A 改进算法的部分检测结果
• 攻读学位期间的研究成果