运动人手的三维跟踪方法研究

论文摘要

运动人手三维跟踪是人机交互(Human Computer Interaction，HCI)研究中的一个基础性和关键性研究课题，它涉及到计算机图形图象处理、人机交互理论、计算机视觉、射影几何学、预测估计方法学、软计算理论等众多交叉学科，对其进行深入研究，对于深化智能HCI的理论和应用，尤其是在虚拟现实中的应用，对于推进相关学科的应用研究，都具有重要意义。基于模型的运动人手三维跟踪的主要任务是：连续地获取与每帧人手图像相对应的三维人手的姿态和位置，为实现和谐、自然、方便的HCI界面打下基础。在多目视觉条件下，可以根据对应特征点进行三维跟踪，得到当前帧的三维手势；在单目视觉条件下，由上一时刻的三维手势和当前时刻的帧图像，预测和滤波当前时刻的三维手势。不仅手势本身具有多样性、多义性以及时间和空间上的差异性等特点，而且人手是复杂的多链节体，并且人手具有高自由度以及指骨的尺寸比较小，更由于在人手跟踪过程中存在自遮挡现象和病态问题，因此，基于计算机视觉的手势跟踪与识别是一个极富挑战性的研究课题，面临错综复杂的矛盾和问题。本研究以“虚拟样机若干关键技术及其典型应用研究，国家863计划项目(2002AA411310)”等重大专项为依托，对基于计算机视觉的运动人手三维跟踪过程中的一些关键问题进行探讨。这些关键问题主要包括：在单目视觉条件下，当人手的运动状态发生突然改变时，EKF滤波跟踪器将丧失跟踪能力；人手自遮挡问题处理方法的时间开销和处理精度亟待进一步改善；三维人手模型的初始化工作大部分仍然靠手工完成，模型的正确性和精度无法得到保证；基于经典模式识别的理论和方法已经不能很好地满足HCI中识别形变手势之需要。本文主要针对上述关键性问题展开研究，主要贡献包括以下几点： (1) 针对人手运动状态突变情况下运动跟踪所存在的问题，提出一种新的强跟踪滤波算法。这种强跟踪滤波器算法的主要特征在于，通过实时在线调整状态预报误差的

论文目录

摘要

ABSTRACT

第1章绪论

1.1 研究背景

1.2 研究现状

1.2.1 多目视觉条件下的运动人手跟踪

1.2.2 单目视觉条件下的运动人手跟踪

1.2.3 手势识别

1.3 论文研究内容

1.4 论文组织结构

第2章基于对应关系的运动人手跟踪方法研究

2.1 双目视觉条件下对应关系的获取

2.1.1 初始化

2.1.2 获取特征网格之间的拓扑对应关系

2.1.3 获取特征点之间的对应关系

2.1.4 实验结果

2.2 单目与单镜面条件下的三维跟踪方法研究

2.2.1 系统物理模型

2.2.2 摄像机模型

2.2.3 三维跟踪的基本方法

2.2.4 相机校准

2.2.5 获取镜面方程

2.2.6 人手特征点的提取

2.2.7 对应关系的确定

2.2.8 对跟踪算法公式的进一步讨论

2.2.9 实验结果

2.3 本章小结

第3章单目视觉下人手状态突变问题的处理

3.1 EKF滤波器及其缺陷

3.2 一种新的强跟踪滤波器

3.3 强跟踪滤波器在运动人手跟踪中的应用

3.3.1 观测值的获取

3.3.2 简化的人手3D物理模型

3.3.3 3D约束条件

3.3.4 人手运动模型

3.3.5 人手模型初始化

3.4 实验结果

3.5 跟踪算法评价

3.5.1 评价方法

3.5.2 对本文强跟踪算法的评价

3.6 讨论

3.6.1 Qk和Rk的确定问题

3.6.2 病态问题

3.7 误差分析

3.8 本章小结

第4章单目视觉下处理自遮挡问题

4.1 基于动态可见手指的自遮挡处理

4.1.1 算法的基本思路

4.1.2 算法描述

4.1.3 代价函数的设计

4.1.4 实验结果

4.2 一种基于改进 UKF的3D人手跟踪算法

4.2.1 手势跟踪算法

4.2.2 实验结果

4.2.3 算法评价

4.2.4 时间复杂度分析

4.3 本章小结

第5章手势识别方法的探讨

5.1 几个基本概念

5.2 识别算法

5.2.1 基本性质和基本定理

5.2.2 跟踪识别算法

5.2.3 相邻两帧连续形变的跟踪算法

5.2.4 形变量的计算

5.3 算法性能分析

5.4 实验结果

5.5 本章小结

第6章基于数据采集卡的运动人手3D跟踪

6.1 运动人手跟踪系统的基本应用平台

6.2 运动人手跟踪系统实验环境的建立

6.3 实验结果

第7章总结与展望

7.1 总结

7.2 展望

参考文献

致谢

攻读博士学位期间发表的学术论文

攻读博士学位期间参与科研项目情况

攻读博士学位期间获得的科研成果情况

学位论文评阅及答辩情况表

运动人手的三维跟踪方法研究

论文摘要

论文目录

相关论文文献

猜你喜欢