助餐机器人的视觉伺服控制

论文摘要

论文研究了一种新型机器人——助餐机器人,通过基于人头部的姿态识别并附带语音识别来控制机器人取食,帮助手部活动功能丧失的人进食。中国有大约1000万的肢体残疾人,其中手部残疾患者占了相当大的比例。解决这些患者的饮食问题成为非常现实的问题,研究助餐机器人对于提高这些人的生活质量具有重要的意义。在分析助餐机器人国内外发展现状的基础上,提出了以图像识别为主语音识别为辅的总体上位机控制方案。上位机采用PC机完成面部识别,考虑到实时性的要求,选用OK MC10A视频卡,该卡适用于工业监控和多媒体的压缩、处理等研究开发和工程应用领域。选用凌阳61开发板,以凌阳16位单片机SPCE061A为核心的精简开发—仿真—实验板完成语音识别,下位机采用ATmega128单片机,上下位机之间通过串口进行通讯。本课题以计算机开源视觉库OpenCV为开发平台,运用肤色与背景颜色的差异对人脸部分进行粗定位,选用YCbCr空间进行色彩空间转换,设定阀值得到人脸部区域,通过图像二值化以及形态学滤波,去除掉图像中孤立的噪点,然后进行图像标记,从而获得人脸的面部特征。利用三步搜索法,选取16*16的匹配块采用MAD误差判别函数,从连续几帧图像中判别已经提取出的面部特征的运动方向。为了达到通过识别头部的运动来控制助餐机器人的取食,采用VC++的MSComm控件,利用OnComm事件自动捕获和检查通信过程中的所有通信事件或者通信错误,采用RS232协议和下位单片机Mega128完成通讯,从而完成对助餐机器人的控制。设计了语音识别上位机控制,采用凌阳单片机语音模块,通过对“桌面转”“取餐1“取餐2”“取餐3”“复位”关键词的训练,能够准确无误的控制助餐机器人,操作性好。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 课题的目的及意义
• 1.2 助餐机器人发展现状
• 1.3 视觉伺服研究现状
• 1.4 语音识别技术的应用
• 1.5 论文主要工作内容
• 第2章 系统总体方案设计
• 2.1 助餐机器人运行原理
• 2.2 视觉伺服及语音识别总体方案设计
• 2.3 硬件电路设计
• 2.3.1 视频卡选取
• 2.3.2 语音识别模块选取
• 2.3.3 下位机控制芯片选取
• 2.4 本章小结
• 第3章 基于肤色的人脸区域提取
• 3.1 OpenCV关于视频图象处理
• 3.1.1 OpenCV简介
• 3.1.2 OpenCV编程实例
• 3.2 肤色模型原理
• 3.3 颜色空间比较与选取
• 3.4 肤色分割过程
• 3.4.1 人脸候选区域的选取
• 3.4.2 灰度图及二值化
• 3.4.3 形态学滤波
• 3.4.4 面部特征提取
• 3.5 本章小结
• 第4章 头部姿态识别
• 4.1 二维运动估计算法
• 4.1.1 二维运动估计要素
• 4.1.2 三步快速搜索的算法及实现
• 4.1.3 三步搜索法分析结果
• 4.2 基于色彩和纹理的头部姿态识别判断
• 4.2.1 微分与积分相结合的眼睛定位算法
• 4.2.2 基于Hough圆检测眼睛定位算法
• 4.2.3 利用YCbCr色彩空间提取嘴巴轮廓
• 4.3 识别结果输出
• 4.4 本章小结
• 第5章 语音识别控制系统
• 5.1 语音识别概述
• 5.2 语音识别原理与步骤
• 5.3 软件设计
• 5.4 语音识别实验
• 5.5 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间发表的论文和取得的科研成果
• 致谢