语音和文本联合驱动卡通人脸动画的方法及其面向移动娱乐应用

论文摘要

近年来,随着计算机网络技术、数字电视技术和通信技术日益成熟,极大地推动了多媒体产业的兴起,多媒体技术之间的信息融合越来越受到人们的重视,数字娱乐也逐渐体现了良好的发展前景。本文主要工作是针对卡通人脸动画的视觉语音相结合的研究,提出了一种综合语音和文本的驱动卡通人脸动画的多媒体技术,同时结合数字娱乐发展方向进行了实际应用的设计和探索。（1）提出了一种由语音和文本共同驱动的卡通人脸动画方法。首先建立卡通人脸音节-视位参数库,并对音节-视位参数进行非监督聚类分析,获得32种人脸视位基本类型,然后基于文本信息进行音节切分,获得准确的时长参数。结合视位的基本类型和语音时长参数,可以对输入的语音/文本进行连续动画拼接。本文提出的方法经过用100条从影视作品中收集的具有娱乐效果的语音/文本进行测试,结果表明可以克服单独的语音驱动或文本驱动的不足,取得更好的卡通人脸动画效果。（2）我们将这种语音和文本联合驱动方法应用于移动娱乐,设计了一套以用户娱乐、个性化需求为模式中心的多平台的用户个性化定制卡通动画合成及其点播系统。该系统具有C/S与B/S两种软件体系结构,分别实现了用户手机端和浏览器端上传配套的语音/文本、图片定制卡通动画以及点播功能。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 前言
• 1.2 课题背景及意义
• 1.2.1 人脸多模式动画行为的研究及其现状
• 1.2.2 卡通人脸动画方法的应用与研究
• 1.3 本文主要工作
• 第二章 人脸动画技术
• 2.1 人脸动画基本思想
• 2.1.1 基于关键帧的人脸动画
• 2.1.2 基于参数化的人脸模型的脸部动画
• 2.2 MPEG-4 标准与人脸动画
• 2.2.1 FDP、FAP 与 FAPU 的定义
• 2.2.2 基于 FAP 的人脸动画实现
• 2.3 人脸动画驱动
• 2.3.1 文本驱动人脸动画
• 2.3.2 语音驱动人脸动画
• 第三章 语音和文本联合驱动卡通人脸动画
• 3.1 基本思想
• 3.2 视位动画参数库的建立
• 3.2.1 音节—视位非监督聚类
• 3.2.2 卡通表情视位编辑
• 3.3 语音切分
• 3.4 视位动画参数的拼接
• 3.5 实验分析
• 第四章 面向移动娱乐的卡通动画合成及点播系统
• 4.1 前言
• 4.2 系统体系结构
• 4.2.1 服务器子系统
• 4.2.2 手机子系统
• 4.2.3 WEB 子系统
• 4.3 系统的实现
• 总结与展望
• 参考文献
• 致谢
• 附录 A 攻读学位期间发表的论文