嵌入式双目视觉系统和三维重建技术研究

论文摘要

双目立体视觉技术是计算机视觉领域的研究热点和主要内容,它模拟人眼视觉系统,依据计算机视觉相关的理论和技术,利用双目摄像头采集同一场景不同位置的左右路图像,对场景进行三维重建。目前广泛应用于场景重现、机器人导航、物体识别、精密工业测量、虚拟现实等各个领域。双目立体视觉的关键技术包括左右图像对的获取、摄像机标定、图像校正、立体匹配和三维重建等几个部分。目前大多数视觉平台仅负责采集图像对,需要在上位机软件上完成立体匹配算法。针对这一问题,本课题设计一套嵌入式实验系统平台,利用FPGA芯片完成图像采集和Census立体匹配算法,同时提出融合自适应权重和置信传播的立体匹配算法,在计算机上进行仿真验证其可行性和准确性,并根据匹配结果进行三维点云重建。本文的工作内容如下：(1)基于FPGA的双目视觉采集与显示系统平台,采用Cyclone Ⅱ系列FPGA作为主处理芯片,外扩自制的双目视频输入子卡和USB传输子卡,对从CMOS摄像头输入的两路视频信号进行采集、帧存和切换控制,通过VGA接口完成左右视图在显示器上交替显示,实现分时立体显示技术,同时实现左右路图像数据通过的USB传输到上位机软件中。(2)在摄像机标定方面,使用matlab标定工具箱,分别对两路摄像头进行标定,获取到摄像头的内外部参数,并进行图像的外极线校正,将立体匹配算法搜索从二维降到一维。(3)为了提高传统置信传播立体匹配算法在深度不连续区域的准确率问题,提出一种融合局部自适应权重和置信传播的立体匹配算法,首先采用改进的局部自适应权重算法,获得初始视差估计,通过左右一致性检测出不可信像素点；然后,对分割后的图像采用新的消息传播策略,进行消息的不对称传递；最后校正不可信像素点的视差值。该算法对深度不连续和弱纹理区域均有较好的匹配结果,能获得比较理想的稠密视差图。同时为了能高速实时获取到视差结果,针对本实验系统在FPGA上实现Census立体匹配算法,在性能效果、资源使用和实时速度方面比同类硬件实现方法都有很大的提高。(4)根据双目立体视觉三维重建原理计算三维坐标,使用OpenGL生成了三维场景深度图,实现场景的三维点云重建。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 引言
• 1.2 计算机视觉理论
• 1.3 基于双目视觉的三维重建框架
• 1.4 国内外研究现状与应用
• 1.5 本文研究内容与组织结构
• 1.6 本章小结
• 第二章 基于FPGA的双目视觉采集与显示系统
• 2.1 引言
• 2.2 系统设计方案
• 2.3 基于Verilog HDL语言的功能模块设计
• 2.3.1 摄像头寄存器配置模块
• 2.3.2 双目视频采集模块
• 2.3.3 4-Port SDRAM控制模块
• 2.3.4 VGA切换显示控制模块
• 2.3.5 USB传输模块
• 2.4 双目采集系统实验结果
• 2.5 本章小结
• 第三章 摄像机标定
• 3.1 引言
• 3.2 摄像机模型
• 3.2.1 坐标系统
• 3.2.2 线性摄像机模型参数
• 3.2.3 非线性摄像机模型参数
• 3.3 摄像机标定方法
• 3.3.1 传统摄像机标定方法
• 3.3.2 摄像机自标定方法
• 3.4 双目采集系统标定结果
• 3.5 本章小结
• 第四章 双目立体匹配算法研究
• 4.1 引言
• 4.2 约束条件与相似度因子
• 4.3 相关立体匹配算法
• 4.3.1 Census立体匹配算法
• 4.3.2 自适应权重立体匹配算法
• 4.3.3 置信传播立体匹配算法
• 4.3.4 实验结果
• 4.4 融合自适应权重和置信传播的立体匹配算法
• 4.4.1 匹配算法框架
• 4.4.2 改进的局部自适应权重及左右一致性检测
• 4.4.3 新的消息传递策略及视差校正
• 4.4.4 实验结果与分析
• 4.5 Census立体匹配算法的FPGA实现
• 4.5.1 图片校正
• 4.5.2 Census变换模块
• 4.5.3 Hamming距离计算模块校正
• 4.5.4 Census相关求和模块
• 4.5.5 比较输出模块
• 4.5.6 实验结果与性能分析
• 4.6 本章小结
• 第五章 三维重建
• 5.1 引言
• 5.2 双目视觉的三维重建坐标计算
• 5.2.1 视差理论
• 5.2.2 三维坐标计算
• 5.3 利用OpenGL实现三维重建
• 5.3.1 OpenGL相关介绍
• 5.3.2 OpenGL绘制三维图形
• 5.4 三维重建结果
• 5.5 本章小结
• 第六章 总结和展望
• 致谢
• 参考文献
• 附录
• 详细摘要