仿人头像机器人人工情感建模与实现的研究

论文摘要

随着仿人机器人应用领域的不断扩展,人类对仿人机器人具有“情感”的需求越来越高。仿人头像机器人是仿人机器人研究领域中实现人机情感交互的重要方向。情感能够提高机器人的便利性和可信度,同时可以向使用者提供机器人的内部状态、目标和意图等反馈信息。目前国外对该方向研究还处于不断探索和完善阶段,而在国内关于该方向的研究主要集中在情感模型理论研究,对于机器人的情感模型应用研究成果报道较少。本课题以仿人头像机器人相关技术为手段,构建仿人头像机器人软硬件研究平台,通过理论、仿真和实验对仿人头像机器人人工情感建模与实现进行深入研究。本文的研究为未来人类与机器人共存,实现与人类的交流奠定基础。从情感心理学的认知角度出发,建立仿人头像机器人的人工情感模型,使人工情感通过情感表达的数学模型实现。在模型中确定系数矩阵反映个性对情感的影响程度,并根据情感和情感转换实现对人工情感的描述。其中人工情感的情感交互采用基于有限状态机理论建立分层式的扩展有限状态机情感交互模型。情感交互模型的行为主要由底层的状态机完成,通过设定状态参数变量集合为机器人行为控制提供依据。在模型中,通过情感的状态转换表和状态转换矩阵研究情感有限状态机的情感转换情况;根据有限状态机与马尔可夫链的关系,计算情感有限状态机模型的平稳概率分布;通过状态转换图中的情感转换路径表达状态机的情感行为。在人工情感模型的基础上进行了情感仿真,通过仿真验证了人工情感模型的正确性,并为实验研究提供依据。针对情感的外界刺激,研究视觉和听觉信号的提取与识别。在视觉信号中,主要针对人脸的面部表情进行特征提取和识别。通过积分投影和基于知识的方法提取面部表情特征值,采用模糊神经网络的方法进行面部表情的识别。其中,在构建模糊神经网络结构中,采用模糊聚类的方法进行中心参数的调整,采用最小二乘法来调整连接权值;在语音信号的提取与识别中,采用连续混合高斯隐马尔可夫模型完成。通过短时平均能量和短时过零率来实现语音信号的端点检测,以12阶Mel倒谱系数和短时能量作为语音识别的静态特征参数,采用它们的一阶差分作为动态特征参数。在仿人头像机器人“H&Frobot-II”基础上构建具有视、听觉功能的仿人头像机器人“H&Frobot-III”。该机器人包括机器人本体、运动控制系统、感知传感器系统三部分。机器人本体实现眼球、眼睑、下颚等部件运动,基于面部表情编码系统（FACS）,通过控制柔性皮肤上的特征点运动实现机器人的面部表情和动态口形。在机器人上构建CCD传感器和语音识别单片机实现机器人的视觉和听觉功能。仿人头像机器的人机情感交互实验研究。在仿人头像机器人的情感再现实验中,得出机器人6种基本面部表情（正常、微笑、吃惊、厌恶、悲伤和生气）和机器人的动态口形,验证了仿人头像机器人的情感表达能力。在情感再现实验的基础上进行机器人的情感人机交互实验,通过与人类的语音和面部表情的交流,机器人做出相应的反应。实验结果表明仿人头像机器人的人机情感交互能力,验证了人工情感模型的正确性和有效性。对仿人头像机器人人工情感建模与实现的研究结果表明人工情感模型能够较好的满足人机交互的需求。本论文的研究结果为机器人的“仿人”特性的进一步深入研究和实际应用提供参考价值。本文的研究内容是在国家“863计划”项目“具有表情智能的仿人全身机器人系统集成化设计及基础技术验证”（2006AA04Z201）及哈尔滨工业大学跨学科交叉基金“具有六种面部表情及视觉的类人头像机器人与行为研究”（ HIT. DM.2002.0.6）共同资助下完成的。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题背景
• 1.2 本文研究的目的及意义
• 1.3 国内外相关技术研究现状
• 1.3.1 仿人头像机器人主要研究机构及成果
• 1.3.2 人工情感模型
• 1.3.3 人工情感模型在仿人头像机器人中的应用
• 1.3.4 仿人头像机器人的情感识别
• 1.4 目前研究中存在的主要问题
• 1.5 本文的主要研究内容
• 第2章 仿人头像机器人的人工情感模型
• 2.1 引言
• 2.2 情感的心理学基础
• 2.2.1 基本情感理论
• 2.2.2 情感的表达
• 2.2.3 个性
• 2.3 人工情感模型
• 2.3.1 人工情感模型中情感定义
• 2.3.2 情感模型中个性的定义
• 2.3.3 人工情感模型的结构体系
• 2.3.4 情感产生
• 2.4 情感的面部表情表达
• 2.5 情感的语音表达
• 2.5.1 汉语视位的确定
• 2.5.2 基本视位库的建立
• 2.6 本章小结
• 第3章 基于有限状态机的情感交互模型研究
• 3.1 引言
• 3.2 有限状态机的基本理论
• 3.3 基于扩展有限状态机的情感交互模型
• 3.3.1 扩展有限状态机
• 3.3.2 分层式的扩展有限状态机情感交互模型
• 3.3.3 情感交互状态机的状态转换表
• 3.3.4 情感有限转换矩阵的确定
• 3.4 情感有限状态机模型的平稳概率分布
• 3.4.1 有限状态机与马尔可夫链
• 3.4.2 情感状态机的平稳概率分布计算
• 3.5 情感状态机的状态转换图
• 3.5.1 确定性情感状态机的状态转换图
• 3.5.2 非确定性的情感状态机的状态转换图
• 3.6 情感交互模型仿真
• 3.6.1 情感交互仿真系统的建立
• 3.6.2 模型仿真
• 3.7 本章小结
• 第4章 情感信号的提取与识别
• 4.1 引言
• 4.2 面部表情特征值的确定
• 4.2.1 人脸轮廓区域分割及特征点提取
• 4.2.2 面部表情识别特征值的确定
• 4.3 基于模糊神经网络的面部表情识别
• 4.3.1 模糊神经网络结构
• 4.3.2 RBF 中心和宽度的确定
• 4.3.3 连接权值的计算
• 4.3.4 面部表情识别实验
• 4.4 语音信号的提取与识别
• 4.4.1 语音信号的预处理
• 4.4.2 语音分割
• 4.4.3 语音信号的特征参数提取
• 4.4.4 非特定性孤立词的语音识别方法
• 4.5 本章小结
• 第5章 仿人头像机器人的研制
• 5.1 引言
• 5.2 仿人头像机器人的本体
• 5.2.1 仿人头像机器人的头部器官机构
• 5.2.2 仿人头像机器人的弹性面部皮肤和面部壳体
• 5.2.3 仿人头像机器人面部表情驱动机构
• 5.3 仿人头像机器人的面部表情
• 5.3.1 人类实现面部表情原理
• 5.3.2 机器人基本面部表情实现原理
• 5.3.3 仿人头像机器人面部表情实现
• 5.4 仿人头像机器人的口形
• 5.4.1 仿人头像机器人基本口形的确定
• 5.4.2 仿人头像机器人动态口形的实现
• 5.5 仿人头像机器人的运动控制系统
• 5.5.1 仿人头像机器人的控制硬件模块
• 5.5.2 仿人头像机器人的控制软件模块
• 5.6 仿人头像机器人的感知传感器系统——听觉和视觉
• 5.7 本章小结
• 第6章 基于人工情感的人机情感交互实验研究
• 6.1 引言
• 6.2 仿人头像机器人的情感再现实验
• 6.2.1 仿人头像机器人的头部运动与面部表情再现实验
• 6.2.2 仿人头像机器人口形与语音协调实验
• 6.3 仿人头像机器人的情感交互初步实验
• 6.4 本章小结
• 结论
• 参考文献
• 攻读博士学位期间发表的论文及其它成果
• 致谢
• 个人简历