导盲系统中双目视觉技术的研究与实现

论文摘要

针对盲人丧失视觉能力,很难对周围生活环境做出正确、及时的理解的现实问题,提出运用双目视觉技术完成导盲系统的两大任务：目标定位和运动分析。论文借鉴现代图像技术及视觉领域的最新发展成果,对导盲系统可能采纳的多种图像处理、双目视觉、跟踪等算法展开了深入研究。基于双目视觉平台的研究主要包括图像的采集、摄像机标定、图像校正、立体匹配、三维重建以及运动分析。首先,在总结几类标定方法的基础上,提出改进的标定方法来实现双目立体摄像系统的标定。通过手动方法和Harris角点检测获取模板角点的图像坐标,进而通过实验和计算来获取摄像机的内外参数和双目相对位置关系(旋转矩阵和平移向量)。根据摄像头标定后获得的数据,分别对左右图像消除畸变和行对准(图像校正),为图像匹配和重构提供条件。其次,围绕立体匹配算法进行了深入的研究。针对各种立体匹配算法优缺点,综合考虑导盲系统实时性能需求,选取区域灰度相关性匹配算法完成了立体图像对的匹配,获得视差图。在已完成上述工作的基础上,根据双目测距的基本原理及三维坐标计算方法,完成了对目标点三维坐标计算,将目标的距离信息与实际测量的距离进行比较获得误差,并对误差原因进行了分析。最后,重点介绍了目前运动目标检测与跟踪领域的一些常用方法。在运动目标实时跟踪方面,以Camshift跟踪算法为基础,实现对彩色序列图像的实时跟踪。并针对该算法存在的问题,提出了改进方案,结合SURF特征匹配辅助跟踪.实验结果表明,该算法能有效避免遮挡和大面积颜色干扰情况下可能出现的误跟踪问题,取得了较好的效果。实验证明,该系统很好的完成了提出的两大任务,效果令人满意,可以为后续导盲系统的开发打下坚实的基础。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题的研究背景及意义
• 1.2 导盲系统研究现状
• 1.3 双目视觉技术应用的国内外研究现状及发展方向
• 1.3.1 双目视觉技术应用国外研究动态
• 1.3.2 双目视觉技术国内研究现状
• 1.3.3 双目视觉技术的发展趋势
• 1.4 双目视觉的结构框图和关键技术分析
• 1.5 本文研究内容
• 第2章 图像采集与摄像机标定
• 2.1 图像采集模块
• 2.1.1 图像采集模块的算法及流程图
• 2.1.2 图像采集模块的设计与实现
• 2.2 摄像机成像模型
• 2.2.1 摄像机参考坐标系
• 2.2.2 线性摄像机成像模型
• 2.2.3 非线性摄像机成像模型
• 2.2.4 立体视觉摄像机模型
• 2.3 摄像机标定方法
• 2.3.1 传统标定方法
• 2.3.2 自标定方法
• 2.3.3 基于主动视觉的标定方法
• 2.3.4 张正友的平面标定法
• 2.4 本文采用的摄像机标定算法
• 2.5 摄像机标定结果与验证
• 2.6 本章小结
• 第3章 立体匹配与三维重建
• 3.1 图像的预处理
• 3.1.1 边缘检测
• 3.1.2 图像校正
• 3.2 立体匹配算法设计步骤
• 3.2.1 匹配基元的选取
• 3.2.2 确定相似性测度
• 3.2.3 匹配搜索策略
• 3.3 匹配约束条件
• 3.4 常用立体匹配算法
• 3.4.1 区域灰度相关法
• 3.4.2 Cencus非参局部变化法
• 3.4.3 图割法
• 3.4.4 实验结果和分析
• 3.5 三维重构
• 3.5.1 三维重构的原理
• 3.5.2 三维坐标值计算
• 3.6 目标定位与语音输出
• 3.6.1 目标定位
• 3.6.2 三维坐标的语音输出
• 3.7 本章小结
• 第4章 运动目标检测与追踪
• 4.1 运动目标检测
• 4.1.1 背景差分法
• 4.1.2 帧差分法
• 4.1.3 光流法
• 4.1.4 粒子滤波法
• 4.1.5 本文采用的背景更新算法
• 4.1.6 实验结果与讨论
• 4.2 Camshift算法对运动物体的跟踪
• 4.2.1 Meanshift算法基础
• 4.2.2 Camshift跟踪算法
• 4.3 改进的基于Camshift与SURF算法的目标跟踪
• 4.3.1 SURF算法
• 4.3.2 SURF辅助跟踪
• 4.3.3 结果与分析
• 4.4 本章小结
• 第5章 总结与展望
• 参考文献
• 致谢