基于DHMM的视觉语言识别

论文摘要

近些年来,计算机唇读技术受到越来越多的研究者的关注,一方面可以利用唇读技术完善语音识别技术,减小或者去除噪音对语音识别的影响;另一方面唇读技术可以帮助聋哑人实现人际交流。唇读技术涉及很多领域,比如模式识别、图像处理等,研究唇读技术对这些领域也有着很重要的理论意义。这个唇读系统是一个简单的孤立词识别系统,主要包括人脸检测、唇特征提取、特征处理、特征识别几个方面。首先介绍了基于Haar特征值和AdaBoost分类器的人脸检测算法,然后说明了基于灰度算法的特征提取方法,和基于PCA+LDA算法的降维算法,本文利用开源工具实现了人脸检测和特征提取。然后介绍了K均值聚类算法,并实现了这个算法。最后介绍了HMM的基本理论、构成和关键的三个问题的解决办法,并实现了一个DHMM系统,能够训练HMM以及进行人脸特征向量的识别。利用这个系统,对录制的无压缩的视频进行了唇语的检测。每个视频都是录制同一个人在同样的环境下连续说十个字。利用这些视频进行了人脸识别、唇的定位、特征提取、特征向量聚类、特征向量识别几个方面的试验,最终的到了64%的识别率。尽管识别率不算很高,但是实现了一个基于实验室环境的简单的孤立词识别系统,在唇读识别这个领域做了一些成功的尝试和研究,并对影响识别率的原因做了一些研究。

论文目录

• 提要
• 第1章 绪论
• 1.1 视觉语言识别的背景
• 1.2 视觉语言识别的现状及其意义
• 1.2.1 视觉语言识别现状
• 1.2.2 视觉语言识别的意义
• 1.3 视觉语言相关技术
• 1.4 本文的组织结构和主要工作
• 1.4.1 本文主要工作
• 1.4.2 本文主要结构
• 第2章 基于 Haar 特征的 AdaBoost 分类器的目标检测算法
• 2.1 常用图像处理方法
• 2.2 常见人脸检测算法
• 2.3 基于Haar 特征和AdaBoost 分类器的检测算法
• 2.4 本章小结
• 第3章 唇动特征提取
• 3.1 几种特征提取的方法
• 3.2 唇动特征提取实现及其实例
• 3.3 本章小结
• 第4章 特征向量的后期处理
• 4.1 常见聚类算法
• 4.2 K-means 聚类算法
• 4.3 唇特征向量的聚类
• 4.4 本章总结
• 第5章 基于 DHMM 的唇语识别
• 5.1 常用的唇语识别模型
• 5.2 HMM 基础理论
• 5.2.1 HMM 基本概念
• 5.2.2 HMM 的三个基本问题
• 5.3 基于 DHMM 的唇语识别
• 5.3.1 DHMM 的训练
• 5.3.2 DHMM 测试
• 第六章 结论
• 参考文献
• 致谢
• 摘要
• ABSTRACT