基于计算机视觉的体感交互方法研究

论文摘要

作为虚拟现实的一个重要分支,虚拟漫游技术具有良好的沉浸性、交互性、实时性。相比于其他漫游技术,虚拟漫游技术更具参与性、更加自然,近年来以其为中心的虚拟博物馆、虚拟旅游、虚拟社区等相关领域受到了人们的广泛关注。但是,在信息输入和识别方面,目前大量虚拟漫游的应用仍然使用键盘、鼠标等传统输入设备,交互手段缺乏自然性；在信息的表现和输出方面,虽然虚拟场景通过立体显示后,在大型展示中更好地发挥虚拟漫游具有高度沉浸感的特点,带给人们逼真、震撼的立体视觉体验。但在用户进行漫游体验的过程中,可能出现立体图像视差过大进而引起立体视觉疲劳的问题。为了解决以上问题,本文针对立体投影环境提出了基于体感交互的虚拟漫游方法,将虚拟漫游技术、体感交互技术、立体显示技术三者相结合,对于虚拟现实技术的推广与创新具有积极的意义。首先,本文使用基于计算机视觉的体感交互方法获取交互信息以解决虚拟漫游应用中传统交互手段缺乏自然性的问题。用户通过移动身体控制漫游视点的移动方向,通过平举手臂控制漫游视点的旋转方向,方便、自然地在虚拟场景中进行漫游。在获取交互信息的过程中,使用改进的背景减法从立体投影环境下采集的交互图像中分割出用户人体前景；利用正面人体前景图像的像素分布特征,从前景图像中划分用户的头部和躯干区域,确定人体上身关节点,获得用户手臂平举的姿势信息；使用计算机双目立体视觉技术获取用户位置信息,并通过分析定位数据,设计判定算法,获得用户的移动信息。获取用户交互信息后,根据交互规则,产生交互指令,控制虚拟漫游程序的视点变化。然后,本文研究了一种实时控制虚拟场景立体视差的方法以缓解立体视觉疲劳的问题。综合考虑立体图像的制作和放映过程建立立体视差控制模型,并以panum融合区原理为依据提出视差控制方法。说明了基于OpenGL的虚拟漫游视点控制和虚拟场景立体显示的实现方法,并针对虚拟漫游提出了调整摄影基线和视图平移量的立体视差实时控制方法。最后,根据以上方法,本文设计并实现了一种面向立体投影环境的体感交互漫游系统。通过系统测试和问卷调查,对本文识别方法的实时性和准确性、交互方法的自然性以及立体视差控制方法的效果进行评估,验证了本文方法的有效性。

论文目录

• 中文摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景及意义
• 1.2 相关技术研究现状及主要问题
• 1.2.1 体感交互技术
• 1.2.2 立体显示技术
• 1.3 主要研究内容
• 1.4 论文组织结构
• 第二章 相关理论基础
• 2.1 立体显示技术相关原理
• 2.1.1 深度暗示
• 2.1.2 基于双目视差的立体显示原理
• 2.1.3 立体视觉疲劳的产生原因
• 2.2 计算机双目立体视觉相关原理
• 2.2.1 计算机双目立体视觉基本概况
• 2.2.2 相机针孔成像模型
• 2.2.3 相机标定算法介绍
• 2.2.4 立体标定相关原理
• 2.2.5 三维立体定位原理
• 2.3 本章小结
• 第三章 体感交互信息获取
• 3.1 交互信息获取的处理流程
• 3.2 面向投影环境的人体前景检测
• 3.2.1 图像预处理与背景建立
• 3.2.2 自适应阈值的人体前景分割
• 3.2.3 形态学处理
• 3.2.4 基于人体前景的背景更新策略
• 3.3 正面人体图像的区域划分与姿势识别
• 3.3.1 正面人体图像的区域划分
• 3.3.2 人体姿势识别
• 3.4 人体空间定位及移动判断
• 3.4.1 基于平面模板的张正友摄像机标定
• 3.4.2 基于快速匹配的人体定位与用户移动判断
• 3.5 交互方案设计
• 3.5.1 交互规则的设计方案
• 3.5.2 指令映射与交互实现
• 3.6 本章小结
• 第四章 虚拟漫游立体显示的视差控制
• 4.1 基于Panum融合区的立体视差控制
• 4.1.1 立体视差的控制模型
• 4.1.2 立体显示的成像深度与Panum融合区
• 4.1.3 整体成像空间的视差控制
• 4.2 基于OpenGL的虚拟漫游与立体显示
• 4.2.1 OpenGL的映射变换
• 4.2.2 虚拟漫游与立体显示的实现
• 4.3 虚拟漫游中立体视差的实时控制方法
• 4.4 本章小结
• 第五章 系统的实现与测试
• 5.1 面向立体投影环境的体感交互漫游系统的实现
• 5.1.1 系统整体架构与实现
• 5.1.2 系统硬件设备介绍
• 5.1.3 系统软件开发环境介绍
• 5.2 测试结果与分析
• 5.2.1 体感交互信息获取的实时性和准确性测试
• 5.2.2 用户主观评价测试
• 5.3 本章小结
• 总结与展望
• 参考文献
• 致谢
• 个人简历
• 在学期间的研究成果及发表的学术论文