双目PTZ视觉系统的研究

论文摘要

随着世界范围内安全意识的提高,基于视觉的安全监控技术受到越来越多的重视,因此视觉监控系统的研究有着广泛的应用前景。本论文以变色龙的视觉特性作为出发点,对双目PTZ（pan-tilt-zoom）视觉系统进行研究。无论从出发点、系统的物理构成、还是能实现的功能上,和现有的相关研究都有很大不同。与人类及绝大多数动物的视觉系统不同,变色龙的双眼具有可以通过独立运动观察全景、通过协同实现高精度立体视觉等特性,这些特性对其捕食和御敌有重要的帮助。双目PTZ视觉系统可以实现类似功能,其优势主要包括:可以同时获取场景的全景信息和高分辨率局部信息,可以通过立体视觉获取场景深度信息,两个相机可以独立工作,也可以协同工作等。这些优势非常有利于视觉监控及场景理解等相关应用。在已发表文献中,相关研究还非常少见。本论文主要针对双目PTZ视觉系统的基础问题进行研究,研究内容和成果主要包括以下几个方面:1.提出了一种球面立体校正模型及其自动标定方法,可用于建立两个PTZ相机之间的关系,并且可以在线对任意两幅图像进行立体校正;2.研究了双目PTZ视觉系统下的立体视觉问题,提出了一个完整的算法框架以实现任意PTZ参数下的深度图估计;3.以双目PTZ立体视觉为基础,利用摄像机参数的可变性和可控性,分别提出了一种局部场景高分辨率深度图和大范围场景深度图的获取方法,这些深度信息可用于场景理解及监控中的场景建模等应用;4.提出了双目PTZ视觉系统下的一种高分辨率视频稳定化方法,可提高远距离监控视频的稳定化程度,方便后续的证据收集、行为分析等应用;5.以两个视觉监控的具体应用为例,验证了系统的功能。以上研究内容都通过实验进行了验证;部分研究成果已用于长江航道船舶监控（与交通部合作项目）,并取得良好效果。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景及意义
• 1.1.1 双目PTZ 视觉系统的硬件配置及仿生学基础
• 1.1.2 双目PTZ 视觉系统的应用前景
• 1.2 研究现状
• 1.2.1 双目视觉系统的分类
• 1.2.2 六类双目视觉系统的比较
• 1.2.3 双目PTZ 视觉系统的优势
• 1.3 研究内容与论文章节安排
• 第2章 球面立体校正模型
• 2.1 概述
• 2.2 单目PTZ 摄像机模型及其标定
• 2.2.1 单目PTZ 摄像机模型
• 2.2.2 单目PTZ 摄像机的标定
• 2.3 球面立体校正方法
• 2.3.1 球面立体校正模型的基本概念
• 2.3.2 球面立体校正的流程
• 2.4 球面立体校正模型的标定
• 2.5 实验结果
• 2.5.1 球面校正模型的标定
• 2.5.2 立体校正实验结果
• 2.6 小结
• 第3章 双目PTZ 视觉系统下的立体视觉
• 3.1 概述
• 3.2 双目PTZ 视觉系统下立体视觉算法
• 3.2.1 算法流程
• 3.2.2 立体匹配预处理
• 3.2.3 立体匹配
• 3.2.4 深度图估计
• 3.3 深度估计精度的分析
• 3.3.1 Pan-tilt 参数误差对深度估计的影响
• 3.3.2 深度估计的不确定度
• 3.3.3 深度的可区分度
• 3.4 实验结果
• 3.4.1 立体匹配实验结果
• 3.4.2 深度估计精度实验
• 3.4.3 图像分辨率对深度估计精度的影响
• 3.5 小结
• 第4章 双目PTZ 视觉系统下两种特定深度图的获取
• 4.1 概述
• 4.2 摄像机参数的重估计
• 4.2.1 Pan-tilt-zoom 参数的误差
• 4.2.2 Pan-tilt-zoom 参数的重估计方法
• 4.2.3 实验结果
• 4.3 高分辨率深度图估计
• 4.3.1 高分辨率深度图估计的整体流程
• 4.3.2 高分辨率深度图估计的具体实现
• 4.4 大范围场景深度图估计
• 4.4.1 大范围场景深度图估计的整体流程
• 4.4.2 大范围场景深度图估计的具体实现
• 4.5 实验结果
• 4.5.1 实验结果1：高分辨率深度图估计
• 4.5.2 实验结果2：大范围场景深度图估计
• 4.6 小结
• 第5章 高分辨率视频稳定化
• 5.1 概述
• 5.2 高分辨率视频稳定化算法的整体流程
• 5.3 高分辨率视频稳定化算法的具体实现
• 5.3.1 目标区域的确定
• 5.3.2 不同分辨率图像配准
• 5.3.3 输出图像的高分辨率填充
• 5.3.4 高分辨率前景填充
• 5.3.5 后处理
• 5.3.6 算法流程小结
• 5.4 实验结果
• 5.5 小结
• 第6章 基于双目PTZ 视觉系统的监控应用
• 6.1 应用一：室内监控（高分辨率图像获取和3D 位置估计）
• 6.1.1 基本定义
• 6.1.2 系统流程
• 6.1.3 实验结果
• 6.2 应用二：室外监控（大范围下高分辨率主动跟踪）
• 6.2.1 基本定义
• 6.2.2 系统流程
• 6.2.3 实验结果
• 6.3 小结
• 第7章 结论与展望
• 7.1 结论
• 7.2 对进一步工作的展望
• 参考文献
• 致谢
• 附录A 系统测试证明
• 个人简历、在学期间发表的学术论文与研究成果