情感虚拟人若干问题的研究

论文摘要

近年来,随着多媒体人机交互、人性化的计算机已成为研究热点,虚拟人、虚拟导游、虚拟播音员已纷纷面世。情感虚拟人已广泛应用于人机交互（语音、手语、人脸表情等）、运动表示、人机功效、视频压缩、游戏娱乐、军事训练、数字图书馆、新生命新产品开发等领域。对情感虚拟人系统的研究,不仅为个体机器人性格和情感提供平台,也将为研究机器人群打下基础。本文主要做了以下四个方面的研究工作:一、采用美国CMU（Carnegie Mellon University）人脸表情数据库,对人脸表情图片进行预处理,用2DPCA进行特征提取,最后用量子神经网络分类器对给出的人脸图片进行表情分类。二、用隐马尔可夫理论对虚拟人进行情感建模,由于隐马尔可夫模型是一个描述随机过程统计特性的概率模型,它是一个双重随机过程,分别对应人类的心情和表情,其中心情对应不可看到的状态。由于前向-后向算法和Baum-Welch算法在参数训练过程中容易出现下溢现象,导致得不到最优解。本文用带有比例因子的Baum-Welch算法对原有算法进行重估,实验表明测试结果满足设计的要求。三、在情感空间中,用情感熵的概念来构建和估算概率转移矩阵,从简单的三维数三刻度数的情感空间扩展到任意维数任意刻度数的情感空间的概率转移矩阵的构建,并在此基础上用推理的方法导出情感的波动系数。四、对虚拟人的表情生成技术做了一些讨论,讲述了3DS MAX 7和OpenGL相结合绘制人脸模型的方法,完成虚拟人系统的构建,测试整个系统的运行,演示了系统在受到外界不同激励的情况下表情的细微变化。其中外界激励信号由人脸表情图片经过预处理、特征提取和表情分类得到的数字信号提供。研究结果表明:建立的情感虚拟人系统,能够完成对人脸表情图片的识别,通过心理模型的计算,最终能较好的反映表情的变化和细节程度。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题背景及意义
• 1.1.1 课题背景
• 1.1.2 研究意义
• 1.2 国内外研究现状
• 1.2.1 情感识别
• 1.2.2 情感建模
• 1.2.3 情感表达
• 1.3 本课题的主要任务
• 第二章 人脸表情识别
• 2.1 图像的预处理
• 2.2 表情特征的提取
• 2.3 量子神经网络分类器
• 2.3.1 量子神经网路模型
• 2.3.2 识别系统及其仿真
• 第三章 基于HMM 理论的情感建模
• 3.1 HMM 的定义
• 3.2 HMM 的算法
• 3.2.1 前向-后向算法
• 3.2.2 Viterbi 算法
• 3.2.3 Baum-Welch 算法
• 3.3 HMM 算法的实现过程
• 3.3.1 初始模型选取
• 3.3.2 多个观察值序列训练
• 3.3.3 比例因子问题
• 3.4 HMM 算法的实例
• 3.4.1 情感模型初始数值的选取
• 3.4.2 情感模型的算法及仿真
• 第四章 基于情感熵的情感模拟
• 4.1 情感描述
• 4.1.1 情感是表征生命体状况的信息
• 4.1.2 情感的马尔可夫过程
• 4.1.3 情感熵
• 4.2 情感空间中概率转移矩阵的构造
• 4.2.1 约束条件
• 4.2.2 搜索概率数值的算法
• 4.2.3 对任意维数任意刻度数的情感空间的概率的构造
• 4.3 情感的数学模拟
• 4.3.1 实现方法
• 4.3.2 模拟结果分析
• 4.3.3 情感的波动系数
• 第五章 情感虚拟人的系统实现
• 5.1 人脸表情生成技术
• 5.1.1 人脸模型
• 5.1.2 人脸模型的表示方法
• 5.1.3 人脸模型的生成
• 5.2 系统实现模块
• 5.2.1 表情识别
• 5.2.2 情感计算
• 5.2.3 表情实现
• 第六章 总结和展望
• 6.1 总结
• 6.2 展望
• 致谢
• 参考文献
• 附录：作者在攻读硕士学位期间发表的论文