多视点视频会议中人眼互视环境生成技术

论文摘要

在多视点视频会议中,人眼互相注视对于人与人之间更好的交流是非常重要的,能够给人一种亲切感,可以增加谈话的氛围,提高信息交流的效率。本文的人眼互视环境生成技术就是为解决这个问题而提出的。人眼互视环境生成技术在多视点视频会议、可视电话等诸多方面都有重要作用。因此,研究人眼互视环境生成技术是非常有意义的。在多视点视频会议中,通常假设听众直接面对显示屏幕。人眼互视环境生成技术是指从同时拍摄一个会议场景的多个摄像机的图像中,识别出参会者正面所对的摄像机的图像以保证人眼互相注视。本文提出了一种新的人眼互视环境生成技术,技术方案主要由两部分组成:第一部分是在每个摄像机图像中检测出人脸区域,并且在检测出的人脸区域内对面部特征进行定位。论文提出了一个新的眼睛定位的方法,首先确定一个眼睛检测窗口,然后利用一个新的眼睛检测函数来检测眼睛,这个眼睛检测函数综合利用了眼睛窗口内灰度的均值、灰度方差的均值、梯度的均值以及色度信息。第二部分是对每个摄像机图像中确定出的人脸部分,根据人脸面部特征相对于人脸区域的位置判断出正面人脸图像,以便生成人眼互视环境。实验结果表明,提出的方法和算法在保证一定检测精度的基础上,能够实时实现人脸检测及面部特征定位,并且能够正确的判断出正面人脸图像,产生人眼互视的环境。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 课题背景
• 1.1.1 多视点视频的概述
• 1.1.2 人眼互视技术的概述
• 1.1.3 人脸检测技术的概述
• 1.2 论文的研究内容
• 第二章 人脸检测算法综述
• 2.1 人脸检测方法
• 2.1.1 基于特征的方法
• 2.1.2 模板匹配的方法
• 2.1.3 基于外观的方法
• 2.1.4 基于视频的方法
• 2.2 面部特征定位方法
• 2.2.1 基于灰度信息的方法
• 2.2.2 基于颜色信息的方法
• 2.2.3 基于可变形模板的方法
• 2.2.4 基于统计对象模型的方法
• 2.3 本章小结
• 第三章 人眼互视环境生成技术
• 3.1 图像预处理
• 3.1.1 灰度归一化
• 3.1.2 直方图均衡化
• 3.2 人脸区域的确定
• 3.2.1 利用基于肤色的方法进行候选人脸区域的检测
• 3.2.2 对二值化人脸图像进行处理
• 3.2.3 提取出候选人脸区域
• 3.2.4 去除候选人脸区域中的非人脸部分
• 3.2.5 去除耳朵的影响
• 3.3 嘴唇的检测及眼睛候选区域的确定
• 3.3.1 在YCbCr颜色空间进行嘴唇的检测
• 3.3.2 在YIQ颜色空间进行嘴唇的检测
• 3.3.3 在RGB颜色空间进行嘴唇的检测
• 3.4 鼻梁的检测
• 3.5 眼睛的检测
• 3.5.1 基于灰度图像的眼睛检测
• 3.5.2 基于色度信息的眼睛检测
• 3.5.3 基于梯度图像的眼睛检测
• 3.5.4 快速眼睛检测的方法
• 3.5.5 判断眼睛检测的正确性
• 3.6 人眼互视环境的生成
• 第四章 实验结果
• 4.1 人脸检测及面部特征定位的结果
• 4.2 人眼互视环境生成的结果
• 结束语
• 致谢
• 参考文献
• 研究生在读期间的研究成果