自然人机交互相关技术研究与系统实现

论文摘要

自然人机交互技术是人机交互技术的一个重要研究方向,主要研究人和计算机之间如何用自然的方式进行交互。其按交互方式分类主要可以分为语音交互,体态语言交互,其他姿态语言交互等。对比传统的人机交互方式如鼠标,按钮等,自然人机交互所具有的自然交互方式,无疑更被人们所关注。目前,自然交互方式的研究已经有了一定的发展,但是应用中的系统还非常缺乏。因此,如何更好更有效地将自然人机交互技术应用到具体领域是目前的热点问题之一。本文通过对自然人机交互系统中的语音识别技术,图案跟踪识别技术和体态识别技术的研究,设计并建立实现了一套用于课堂教学领域的自然人机交互系统。分析了微软公司的语音识别引擎,并充分利用其来实现语音交互;设计并实现了图案跟踪和实时识别算法,使得信号的实时交互能力更加高效;改进并实现了基于直方图的体态识别算法,使得体态识别的准确性更好,实时性更高;同时利用上述技术设计实现了一套基于自然人机交互的课件编辑和播放的教学辅助系统。论文主要研究内容包括:(1)设计实现了基于自然人机交互的教学辅助系统。采用COM组件对象模型实现了底层交互引擎和上层用于课件编辑和播放的用户界面主程序相分离,有效降低了系统耦合度。(2)研究激光笔交互技术。提出了基于视频的图案跟踪与识别算法,实现系统支持用户用有图案的激光笔进行交互;(3)研究体态语言交互技术。改进了基于直方图分布的体态识别算法。实现系统对用户所做的简单姿态进行识别,从而判断用户的行为;(4)研究语音交互技术。通过微软公司的Microsoft Speech SDK实现系统对用户的语音进行识别和判断从而分析用户所读语意,纠正用户发音。测试结果表明系统对激光笔交互信号能实时准确的响应;对体态语言的交互信号能准确地识别人的动作;对语音交互信号也能很好的适应不同的人声,识别人的语音信号。系统延时也都在可以接受的范围内。

论文目录

• 摘要
• ABSTRACT
• 目录
• 插图目录
• 第一章 绪论
• 1.1 研究背景和意义
• 1.2 研究课题的现状与发展
• 1.3 研究内容
• 1.4 本文的组织结构
• 第二章 研究简介
• 2.1 基于自然人机交互系统的数据处理流程
• 2.1.1 多通道数据接收和干扰去除
• 2.1.2 各通道数据处理
• 2.1.3 识别处理后数据的结果
• 2.2 相关技术研究
• 2.2.1 图案跟踪技术
• 2.2.2 图案实时识别技术
• 2.2.3 体态识别技术
• 2.2.4 语音识别技术
• 2.2.5 COM 技术
• 2.3 小结
• 第三章 系统设计与实现
• 3.1 系统架构设计
• 3.1.1 激光笔交互模块
• 3.1.2 体态交互模块
• 3.1.3 语音交互模块
• 3.1.4 小型数据库模块
• 3.1.5 UI 调用模块
• 3.2 小结
• 第四章 图案跟踪与识别算法
• 4.1 基本算法思路
• 4.2 连通区域检测算法
• 4.2.1 递归的搜索检测
• 4.2.2 简单连通域搜索算法
• 4.2.3 改进算法
• 4.3 边缘提取算法
• 4.4 图像的特征值计算
• 4.5 小结
• 第五章 体态识别算法
• 5.1 基本算法思路
• 5.2 图像分割算法
• 5.2.1 区域分割
• 5.2.2 边缘分析
• 5.2.3 边界检测
• 5.2.4 技术难点
• 5.3 图像填充技术
• 5.3.1 二值图像的腐蚀与膨胀
• 5.3.2 开运算和闭运算
• 5.4 体态识别算法
• 5.5 小结
• 第六章 系统测试分析
• 6.1 系统界面分析
• 6.2 不同的交互模块性能测试
• 6.3 小结
• 第七章 总结与展望
• 参考文献
• 致谢
• 攻读硕士学位期间的研究成果
• 上海交通大学硕士学位论文答辩决议书