唇读的静动态特征表示方法研究

论文摘要

唇读(Lipreading)研究试图赋予计算机根据唇部运动辨别说话内容和根据唇部运动规律辨别人物身份的能力。该研究具有重要的科学意义和应用价值。从学科建设和发展的角度,唇读作为一个科学问题,是一个典型的图像模式分析、理解和分类计算的问题,涉及模式识别,计算机视觉,智能人机交互,认知科学等多个学科。同时,作为生物特征识别技术之一的基于唇读的说话人识别技术则在公共安全、信息安全等领域具有潜在的应用前景。目前,唇读在说话内容识别上还没有获得理想的识别性能,其中一个重要的原因就是没有对唇区特征区域给出很好的定义和有效的特征表示。本文重点探讨了特征表示的一些技术和关键问题,对唇区的特征区域标定,静、动态特征表示方面进行了专门研究。本文主要的研究工作如下:1.提出了基于统计的自适应特征区域标定方法。特征区域的标定是唇读特征表示的第一步,本文提出的标定方法首先通过手动标定唇的“红色区域”,然后对其范围进行统计,得到以中心点为基准的最大尺寸,并将统计信息反馈给预处理模块,由预处理模块自动对特征区域重新标定,由此可以使标定尺寸自适应于不同的图片集。这种方法在本文的所有特征表示方法上取得了性能提升。2.基于静态图像的特征表示的研究中,本文对PCA、DCT、Gabor方法在唇读中的应用进行了深入研究和实验对比。针对目前的特征表示方法没有泛化能力的问题进行了探讨,引入一种新的特征描述子:局部二值模式,提出局部二值模式在唇读中的应用方法,该方法具有良好的泛化能力和较快的计算速度,在未来的实用唇读系统中具有很大的应用潜力。3.提出了基于三维时空体的唇读模型,并在模型基础上提出了三维时空体的特征表示方法:唇读的差分型特征表示和积分型特征表示。基于三维时空体的唇读模型结合了空间和时间的双重特点,能够充分表达唇动过程的运动特性。本文探讨了两种基于时空的特征表示方法,从实验对比、理论分析和数学证明三个方面证明了积分型特征在表达能力和可分性上的优势。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题研究的背景和意义
• 1.1.1 课题来源
• 1.1.2 研究的目的和意义
• 1.2 课题研究现状
• 1.2.1 唇读系统
• 1.2.2 研究难点
• 1.3 本文研究内容
• 第2章 唇的特征区域标定
• 2.1 引言
• 2.2 特征区域粗定位
• 2.3 基于统计的自适应特征区域标定
• 2.3.1 标定的语义解释
• 2.3.2 特征区域的准确标定
• 2.4 实验与分析
• 2.4.1 数据库
• 2.4.2 实验设计
• 2.4.3 实验结果和分析
• 2.5 特征区域的标定方法展望
• 2.6 本章小结
• 第3章 基于静态图像的特征表示
• 3.1 引言
• 3.2 基于像素的特征提取方法
• 3.2.1 基于统计的主成分分析
• 3.2.2 基于局部分块的离散余弦变换
• 3.2.3 Gabor 小波变换
• 3.2.4 对比实验
• 3.3 局部二值模式
• 3.3.1 局部二值模式算子
• 3.3.2 空间直方图特征的提取
• 3.3.3 唇读中的LBP 应用及扩展
• 3.4 本章小结
• 第4章 基于三维时空体的特征表示
• 4.1 引言
• 4.2 相关工作概述
• 4.2.1 光流法
• 4.2.2 基于运动矢量的特征表示
• 4.3 基于时空体的唇读特征表示
• 4.3.1 三维时空体的定义
• 4.3.2 基于时空的差分型特征
• 4.3.3 基于时空的积分型特征
• 4.4 唇读的特征表示性能比较
• 4.4.1 时空特征的性能比较
• 4.4.2 静、动态特征性能比较
• 4.5 唇读的特征表示方法分析
• 4.5.1 定性解释
• 4.5.2 数学描述和证明
• 4.6 本章小结
• 结论
• 参考文献
• 攻读学位期间发表的学术论文
• 致谢