基于LAP方法的机器人灵巧手控制

论文题目: 基于LAP方法的机器人灵巧手控制

论文类型: 博士论文

论文专业: 机械电子工程

作者: 朱方文

导师: 龚振邦,韦穗

关键词: 机械灵巧手,机器人学,计算机立体视觉,空间手势姿态分析

文献来源: 上海大学

发表年度: 2005

论文摘要: 本文讨论将计算机视觉用于人手姿态的检测,在基于任务建模的方式下,进行多指机械灵巧手的操作控制的研究工作。 机械手,包括灵巧手,是机器人进行操作的最重要的工具,对应的控制是机器人适应性地完成各种作业任务的关键。具有多手指、多关节和多自由度的多指灵巧机械手可以提高机器人的操作能力,实现复杂的灵巧操作。 传统上的机械手通常采用离线编程或示教的方法进行控制,机械手完成的是事先规定好的工作,这种工作模式降低了机械手对非结构环境的适应性。采用视觉传感器的机器人系统,用摄像机摄入被抓取的物体的影像,通过图像处理分析,获得物体的方位、形状参数,可以让机器人能自动识别需要抓取的对象,确定机械手的夹持器的方位和抓取方法。 但是,基于目前技术发展的水平,不可能完全靠传感器对机械手的直接控制来完成复杂的任务,即使在所谓结构环境中,机械手仍需要依赖多种形式的“学习”,“积累”处理可能出现的各种情形的知识。另一方面,在非结构化环境中,靠机器人完全适应性地完成各种作业任务是不现实的,往往需要人机配合,由人进行必要的监控和决策。并用人机交互手段干预机械手的动作。鼠标与键盘是传统上最常用的人机接口。 新型的人机接口装置——数据手套的出现,大大增加了机械手,特别是多指、多关节的机械灵巧手的适应性,但是数据手套多数是采用命令姿态作为控制方式的,操作者在使用数据手套以前需要进行训练,手套需要标定。命令姿态数量也是有限的。而且,数据手套是接触性传感器,容易损坏、不够舒适、价格比较高。另外,与计算机相连的数据手套在一定程度上限制了操作者的活动。手套开始工作后,就连续检测人手的动作,影响了操作者与其他人或设备的交互。 在过去的几年中,计算机视觉拓展了一个所谓“看人”(looking at people,以下简称LAP)的应用领域,用计算机视觉作为人机接口,通过观察(监视)、分析人体不同部分的表情或姿态,从中提取有用的控制信息。由于是非接触性检测,因此对于操作者而言感觉比较自由而且自然,同时还能为机器提供丰富的信息资源,具有广阔的应用范围。在Looking at people应用中,手势姿态分析主要研究内容是分析用手势表达的符号语言(如手语字符)的意义。 本文进行的研究将Looking at people的方法应用于分析人的手势姿态,进而完成多手指、多关节机械灵巧手的操作控制。这是一个交叉研究领域,涉及到计算机立体视觉、图像处理和机器人学等学科。 系统的特点是采用根据任务建模的方式而不是预先规定的命令姿态进行控制。由操作者观察被操作对象的表面形态、方位,作出动作决策(抓取物体的手势姿态),摄像机从不同角度“观察”人的手势,经过图像分析,信息合成,得到三维空间中手的姿态信息,然后利用人手和机械手结构上的异、同点,将人手的姿态转变成机械手可执行的动作姿态。 研究主要完成了下列工作: (1)根据人手的生理结构特点,设计了适合于具有小幅度运动的非刚性构架上特征点的搜索、排序方法,可以迅速、准确地将摄像机拍摄的处于任意空间方位姿态下的手的姿态图像上的各关节点(含手腕和指尖),按手指的归属重新排序,这些点在图像采集、

论文目录:

摘要

Abstract

第一章 绪论

1.1 灵巧手控制和接口

1.1.1 机器人灵巧手控制

1.1.2 人机交互接口

1.2 从数据手套到基于视觉的手势姿态分析

1.3 基于视觉的手势姿态分析的研究概况

1.4 论文研究工作内容

1.5 论文结构

第二章 人手和机械灵巧手的对比分析

2.1 手功能解剖学方面的有关基本概念

2.1.1 关节运动分类

2.1.2 手的姿态

2.1.3 手部关节运动的概念

2.2 BH-3型机械灵巧手简介

2.2.1 本体设计

2.2.2 控制系统硬件结构

2.2.3 控制系统软件

2.2.4 运动学模型和方程

2.2.5 TAFS／T三维指力传感器

2.3 人手与机械灵巧手的结构差异比较

第三章 二维手势图像处理

3.1 手势图像采集

3.1.1 图像采集硬件系统构成

3.1.2 背景和手势图像准备

3.2 标记点图像分割与标号

3.2.1 特征点图像分割

3.2.2 子图形标号

3.2.3 标号整理与形心位置计算

3.2.4 残余背景图像剔除

3.3 标记点重新排序

3.3.1 树形结构算法

3.3.2 多边形搜索算法

3.3.3 多边形——树形结构联合搜索

3.3.4 特征距离判别算法

3.4 本章总结

第四章 基于Lumigraph理论的空间点三维重建

4.1 摄像机模型和成像几何基础

4.1.1 图像坐标系、摄像机坐标系和世界坐标系

4.1.2 摄像机模型

4.1.3 图像匹配基本概念

4.1.4 空间点重建

4.2 Lumigraph理论

4.3 基于Lumigraph理论的空间点三维位置计算

4.3.1 平面模型上标准点数据的计算方法

4.3.2 插值计算投影点空间坐标

4.3.3 特征点匹配

4.3.4 空间点三维坐标重建

4.4 基于多幅图像的三维物体重构

4.5 小结

第五章 机械灵巧手控制参数计算

5.1 机器人运动学基础

5.2 转换特征选择

5.3 坐标系变换

5.3.1 从世界坐标系到人手掌坐标系的坐标系变换

5.3.2 腕坐标系合成旋转变换

5.4 机械灵巧手指关节参数计算

5.5 满足机械灵巧手关节角转动约束条件的解决方案

5.6 机械灵巧手动作控制设计

5.7 手运动方向的计算

5.8 传递控制参数的通讯程序设计

5.9 结论

第六章 实验验证

6.1 用户手势姿态标记信息处理实验

6.2 指尖空间位置计算验证

6.3 逆运动学方程的正确性验证

6.4 计算出的关节角度的合理性及灵巧手动作参数的可执行性分析

6.5 实时测试系统构成和实时检测方法

6.5.1 手指关节角度计算

6.5.2 抓取关节姿态参数计算

6.5.3 手势姿态实时跟踪、动作实现实验

6.6 机械灵巧手动作约束问题

第七章 总结与展望

7.1 工作总结

7.2 论文创新点

7.3 工作展望

参考资料

攻读研究生期间发表的论文

作者在攻读博士学位期间所参与的项目

致谢

附录1 双平面模型中空间点的三维坐标的计算

附录2 三指机械灵巧手逆运动方程及推导

附录3 主要程序流程图

发布时间: 2005-09-16

参考文献

• [1].输电线路除冰机器人的智能自适应鲁棒跟踪控制方法研究[D]. 陈水文（TRAN THUY VAN）.湖南大学2016
• [2].移动侦测机器人的人机交互与局部自主关键技术研究[D]. 纪鹏.东南大学2017
• [3].室内环境下多机器人协调探索算法研究[D]. 姚芝凤.哈尔滨工程大学2018
• [4].四足机器人奔跑步态动态稳定性与控制方法研究[D]. 刘清宇.华中科技大学2017
• [5].下肢外骨骼机器人多模融合控制策略研究[D]. 刘笃信.中国科学院大学(中国科学院深圳先进技术研究院)2018
• [6].面向家庭服务机器人的中文指令处理研究[D]. 高胜男.燕山大学2017
• [7].水下球形探测机器人自主运动控制研究[D]. 刘志民.北京邮电大学2018
• [8].基于多特征融合的机器人目标跟踪算法研究[D]. 王丽佳.北京工业大学2017
• [9].面向快速测试进化形态的模块化机器人研究[D]. 刘策越.中国矿业大学(北京)2018
• [10].基于视窗平台的机器人控制技术研究及实现[D]. 何永义.上海大学2001

相关论文

• [1].机器人灵巧手抓持规划及抓持力优化方法研究[D]. 贾鹏.哈尔滨工程大学2011
• [2].类人型五指灵巧手的设计及抓取规划的研究[D]. 樊绍巍.哈尔滨工业大学2010
• [3].多指仿人机器人灵巧手的同步控制研究[D]. 兰天.哈尔滨工业大学2010
• [4].仿人形机器人双足动态步行研究[D]. 柯显信.上海大学2005
• [5].自动施药机器人及可变量控制系统研究[D]. 陈勇.南京林业大学2005
• [6].移动机器人定位技术研究[D]. 王卫华.华中科技大学2005
• [7].HIT/DLR机器人灵巧手遥操作系统的研究[D]. 胡海鹰.哈尔滨工业大学2006
• [8].具有力感知功能的水下灵巧手研究[D]. 王华.哈尔滨工程大学2006
• [9].气动柔性驱动器FPA的特性及其在多指灵巧手设计中的应用研究[D]. 鲍官军.浙江工业大学2006
• [10].基于虚拟现实的机器人灵巧手遥操作平台的设计和实现[D]. 周思跃.上海大学2006

标签：机械灵巧手论文;  机器人学论文;  计算机立体视觉论文;  空间手势姿态分析论文;