游戏引擎中基于计算机视觉的新型交互系统的实现

论文摘要

基于摄像头的新型实时交互手段是在传统人机交互手段,例如键盘鼠标等之上的一种很好的拓展。特别是使用两个摄像头同时进行拍摄,可以充分模拟人的眼睛对客观世界的感知,从而通过准确定位和分析,进而获得场景的三维特征。这种交互手段可以允许虚拟现实场景的操作者可以以一种更加自然的方式进行人机交互,例如空间定位,手势指挥等。基于双摄像头的新型交互方式主要采用计算机图像分析技术,对摄像头采集的每一帧执行分析流程,分别提取出前景物体和背景,然后对前景物体利用计算机双目立体视觉技术进行空间定位和运动轨迹分析。本文的研究以游戏引擎为平台。整个系统的实现是建立在游戏引擎的基础上,作为其功能外扩型组件而存在。本系统在设计的时候,十分注重系统的模块化、可复用性,所以本系统其实是一个自成体系的完整系统,并非只能依附于游戏引擎中,而是具有很强的可移植性和可维护性,可以作为一个单独的组件应用在需要使用机器视觉的场合和系统之中。由于实现的是机器视觉的系统,因而本文就机器视觉的实现步骤和其间的一些重点算法进行了详细的分析,并按照其算法处理的步骤进行了逐一研究,对于一些已经很成熟的算法,我们在研究后对其进行了直接的实现;对一些不能满足我们系统性能或功能需求的算法,我们进行了一些细节的组合和整体的优化,从而使系统要求得到满足;而对某些关键性的,且并没有适合的算法可用的步骤,我们另行摸索和设计合适的算法并将其实现。因此,本文中的主要工作有如下一些方面:●对整个系统进行了详尽的算法流程设计、系统结构实现,并逐步验证了文中所采用的各算法的实现细节。在与游戏引擎完美结合的同时,保证了系统所要求的实时性能。●针对系统的关键环节:特征点的提取,提出了将图像的两种特征,即边缘信息和角点信息进行综合使用的方法,扩大了可使用的点的数量,同时又缩小了需要处理的信息数量,还抵消了经过滤波造成的角点的损失,对算法的效率和健壮性都有很大的帮助。●针对系统的另一个关键环节:特征点的匹配,提出了创新的算法,即使用极线校正和单应性约束限定匹配范围,然后使用扩散式的搜索来进行匹配,这种匹配点的搜索方式使系统的性能得到了大幅度的提升。同时,在使用了反馈修正参数之后,其可靠性也达到了系统的要求。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 课题背景
• 1.2 计算机立体视觉技术
• 1.3 国内外发展现状
• 1.4 课题背景
• 1.5 本文的研究意义及应用领域
• 1.6 本文的主要研究工作和创新之处
• 1.7 论文结构
• 第二章 立体视觉的问题和技术
• 2.1 立体视觉的问题
• 2.2 关键问题的技术分析
• 2.2.1 摄像头模型
• 2.2.2 图像滤波处理
• 2.2.3 特征提取
• 2.2.4 图像匹配
• 2.3 关于OpenCV函数库
• 2.4 本章小结
• 第三章 系统总体结构
• 3.1 游戏引擎的架构和功能介绍
• 3.2 本课题在游戏引擎中的位置
• 3.3 本系统的详细架构
• 3.3.1 系统宏观架构
• 3.3.2 硬件平台
• 3.3.3 软件平台架构
• 3.4 系统的处理流程
• 3.5 本章小结
• 第四章 双目视觉采集平台搭建
• 4.1 视觉采集设备及其模型参数
• 4.2 工作平台的搭建和参数测量
• 4.2.1 工作平台的搭建
• 4.2.2 系统参数的测量和计算
• 4.3 摄像头参数标定
• 4.3.1 使用二维靶标标定内部参数
• 4.3.2 本系统标定的特殊性
• 4.4 本章小结
• 第五章 图像的预处理和特征提取
• 5.1 对采集图像进行滤波处理
• 5.1.1 滤波阶段采用的方案
• 5.1.2 滤波阶段的流程
• 5.1.3 滤波结果分析
• 5.2 特征信息的提取
• 5.2.1 特征信息提取的问题和解决
• 5.2.2 SUSAN角点提取
• 5.2.3 边缘描述点检测
• 5.2.4 特征点收缩处理
• 5.2.5 特征点提取的流程
• 5.2.6 特征点提取结果
• 5.3 本章小结
• 第六章 图像间对应关系的匹配
• 6.1 对图像对的预匹配
• 6.1.1 使用极几何关系进行极线校正
• 6.1.2 使用单应性获取图像的横向偏差
• 6.2 图像匹配过程
• 6.2.1 在两幅图像中搜索匹配信息
• 6.2.2 使用前景信息进行偏差校正
• 6.3 匹配的流程和结果
• 6.4 本章小结
• 第七章 空间信息还原和作为控制信号
• 7.1 提取空间信息并重建模型
• 7.1.1 空间还原的一般情况
• 7.1.2 平行摄像头的空间还原
• 7.1.3 本系统的平台选择
• 7.2 系统应用分析与信号输入设计
• 7.2.1 系统的应用分析
• 7.2.2 信号转换设计
• 7.3 系统实验结果
• 7.4 本章小结
• 第八章 总结与展望
• 致谢
• 参考文献
• 个人简历及学习期间发表的论文