基于语音识别的动画人物唇同步系统

论文摘要

随着国内市场对动漫产品需求的不断增长,以及国家对动漫产业的大力扶持,我国的动漫产业进入了一个高速成长期。唇同步是动画制作中不可或缺的一个环节,但是传统的唇同步方法完全由人工来实现,非常繁琐,效率很低。并且唇同步的质量得不到保证,完全依赖于制作人员的经验。所以,我们需要一种技术来帮助动画制作人员摆脱这一繁琐的工作,同时提高唇同步的质量。本文应用基于隐马尔可夫模型的语音识别技术来解决动画的唇同步问题。通过对语音识别技术的研究,以及对唇同步问题的分析,我们找到了用语音识别技术解决动画人物唇同步问题的切入点:用语音识别技术来获取语音中每个字的时间信息。基于这个想法,我们设计了两种解决动画人物唇同步问题的方法。第一种方法通过直接应用识别算法来获取每个字的时间信息。第二种方法根据语音文本构建一个组合模型,然后在组合模型上应用Viterbi算法,在计算过程中获取每个字的时间信息。这两种方法都可以有效地解决动画的唇同步问题,但是和第一种方法相比,第二种方法有效地减少了计算量并且不存在识别错误的问题,因而在计算效率和唇同步的效果上都要优于第一种方法。最后,本文基于第二种方法实现了一个唇同步系统,并探讨了实现中的关键问题:如何根据系统特点确定模型结构,如何选择合适的识别单元,如何根据系统特点修改一般化的算法使其在我们的系统中正常的工作,如何对语音信号进行参数化。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 论文研究背景
• 1.2 本文的研究内容和结构
• 第2章 相关系统和技术综述
• 2.1 唇同步的相关技术和系统
• 2.2 语音识别技术
• 2.3 隐马尔可夫模型
• 2.3.1 模型定义
• 2.3.2 HMM的基本问题和算法
• 2.3.3 连续型HMM的密度函数
• 第3章 基于HMM的语音识别
• 3.1 孤立词识别
• 3.2 连续语音识别
• 3.2.1 模型的训练
• 3.2.2 模型的识别
• 3.2.3 语言模型
• 3.3 模型初值设置
• 第4章 语音识别与唇同步
• 4.1 问题分析
• 4.2 语音识别技术的应用
• 4.2.1 识别算法
• 4.2.2 路径对齐
• 4.2.3 分析总结
• 第5章 系统中的关键问题
• 5.1 模型和识别单元的选择
• 5.1.1 模型的结构
• 5.1.2 识别单元的选择
• 5.2 算法修正
• 5.2.1 根据模型修正算法
• 5.2.2 修正算法防止下溢
• 5.3 路径对齐的伪码实现
• 5.4 语音信号的参数化
• 5.4.1 MFCC的计算过程
• 第6章 系统实现
• 6.1 系统结构
• 6.2 系统主界面
• 6.3 模型训练
• 6.4 唇型动画
• 6.5 唇型库管理
• 6.6 输出表格
• 第7章 总结与展望
• 7.1 本文主要研究内容
• 7.2 本文主要创新点
• 7.3 未来工作展望
• 参考文献
• 致谢
• 作者简历