面向智能空间的多视角视觉系统关键技术研究

论文摘要

智能空间技术可以辅助服务机器人解决靠其自身难以实现的问题,已经成为智能家居、智能会议室等普适计算技术应用的研究热点。在服务机器人对目标追踪过程中,由于机器人自身携带的摄像机视域有限,以致于其不能较好的解决目标之间或目标与背景间的遮挡问题。而多顶棚智能摄像机网络具有以下特点：覆盖视域大；能提供所跟踪运动目标的深度；能有效解决遮挡以及对三维空间的全面感知,这为智能空间环境下目标跟踪的研究提供了更丰富而准确的数据信息。本课题旨在220。五通道、大视场、高沉浸感的大型环幕显示系统环境下,基于智能分布的思想,利用传感器网络技术构建一个基于多摄像机的分布式智能网络监控环境的智能会议室。本文主要针对以下问题展开研究：由于室内环境复杂、人为干扰多以及不确定因素导致的背景与目标间或目标之间存在的遮挡问题；多目视觉标定方法；多摄像机之间图像的正确匹配；运动目标跟踪算法；多目标的运动位置的准确表达与预测等,解决服务机器人仅靠自身携带摄像头视域有限、不能准确分辨目标以及目标运动位置的准确预测与估计问题。课题内容的研究有一定的学术研究意义和社会经济价值,应用前景广阔。本论文的主要研究内容如下：首先,针对本课题特定应用环境下的多摄像机标定问题展开研究,提出了一种无需标定物基于投影共面点的多摄像机标定算法,解决了在无法使用标定物或在线标定场合下的立体摄像机标定问题。在三维空间可见视域内,投影标定图案格,并统一投影平面坐标系与世界坐标系。在标定图案角点提取后,对每个摄像机分别标定,根据立体视觉特性求取摄像机间的相对位姿参数。根据所提取特征角点的重投影进行误差分析。该标定方法灵活,能有效降低计算量。其次,针对多摄像机下的宽基线立体图像匹配进行研究,提出了一种将最大稳定极值区域（MSER）与尺度不变特征变换描述符（SIFT）相结合的图像匹配方法,解决对同一场景拍摄的两幅图像,由于视角大而不能准确匹配的问题。该方法利用仿射不变性最优的MSER进行特征区域检测,并将椭圆拟合后的特征区域归一化为单位圆,然后在单位圆内构造SIFT描述子。再采用最近距离与次近距离比值法对两幅图像描述子特征向量进行初始匹配；对由采样点求得的基本矩阵用最大后验一致抽样自动估计算法进行估计。实验表明,这种方法不但对图像的视点变化有较好的适应性,而且可以提高匹配的准确度。再次,针对基于视频序列的单目标跟踪问题进行研究,提出了一种基于Camshift（Continuously Adaptive MeanShift）寻优的多特征粒子滤波跟踪算法,主要解决由目标与场景间或目标间产生的遮挡问题。该算法重采样后,对每一粒子应用camshift算法,使所有粒子达到一个稳定的位置。其中,粒子的似然函数依据颜色特征与边缘特征的Bhattacharyya距离计算。然后根据颜色与边缘直方图分布的Bhattacharyya系数重新计算权重。增加权值大的粒子,以获得一个权值较高的采样序列。实验对特征直方图的相似度,目标遮挡问题以及运动目标的位置进行了分析,结果表明该方法能够较准确的跟踪目标,并对目标遮挡具有一定的鲁棒性。另外,针对多视角多目标跟踪中目标运动位置的确定问题展开研究,提出了一种基于多视点的多目标轨迹关联算法,解决了多目标跟踪中观测点与轨迹的数据关联问题。根据均值漂移法计算运动目标质心,并对质心的坐标进行标记。根据改进的模糊C-均值聚类算法在每一视角传感器观测空间中分别建立点与轨迹的数据关联。目标的出现与消失的边界点,则根据视域分界线进行判断。实验表明,该方法能降低数据关联的复杂性,同时对多目标跟踪中的遮挡有一定的鲁棒性。最后,根据本课题的设计思路,构建了由三摄像机组成的仿真系统实验平台,并在大型环幕场景中对本文提出的算法进行了测试。实验结果验证了算法的可行性与正确性。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究的背景和意义
• 1.2 智能空间的国内外研究现状
• 1.2.1 智能空间技术的发展
• 1.2.2 智能监控技术的应用研究
• 1.3 智能空间环境下多摄像机目标跟踪的关键技术
• 1.3.1 多摄像机标定
• 1.3.2 立体图像匹配
• 1.3.3 基于视觉的运动目标检测与跟踪
• 1.3.4 多目标数据关联
• 1.4 论文的研究内容与结构安排
• 第二章 基于投影共面点的多摄像机标定方法
• 2.1 引言
• 2.2 线性摄像机模型
• 2.2.1 摄像机坐标系、世界坐标系与图像坐标系
• 2.2.2 针孔模型
• 2.3 有透镜径向畸变的摄像机标定
• 2.3.1 有透镜径向畸变的针孔模型
• 2.3.2 径向排列约束（RAC）
• 2.3.3 利用共面点标定的Tsai两步法
• 2.4 ZHANG Z.Y.标定法
• 2.4.1. 求取透视矩阵
• 2.4.2 摄像机参数的求解
• 2.5 摄像机之间的关系
• 2.5.1 摄像机的相对位置关系
• 2.5.2 三角原理
• 2.6 基于二维投影共而点的多摄像机标定
• 2.6.1 投影仪、摄像机与投影平而的对应关系
• 2.6.2 标定算法
• 2.6.3 实验结果分析
• 2.7 本章小结
• 第三章 多视点宽基线立体图像匹配
• 3.1 引言
• 3.2 特征检测与描述
• 3.2.1 尺度不变特征变换
• 3.2.2 最大稳定极值区域
• 3.3 多视几何与极线约束
• 3.3.1 两视几何
• 3.3.2 三视几何
• 3.3.3 极几何约束
• 3.4 多视角的宽基线立体图像匹配
• 3.4.1 MSER+SIFT特征提取与描述
• 3.4.2 最大后验一致抽样自动估计
• 3.4.3 实验结果分析
• 3.5 本章小结
• 第四章 基于CAMSHIFT寻优的多特征粒子滤波跟踪
• 4.1 引言
• 4.2 颜色与边缘特征
• 4.2.1 RGB模型与HSV模型
• 4.2.2 边缘检测
• 4.2.3 颜色与边缘特征直方图
• 4.3 运动目标检测方法
• 4.3.1 双差分法与目标区域计算
• 4.3.2 混合高斯背景模型
• 4.4 均值漂移与CAMSHIFT
• 4.4.1 均值漂移
• 4.4.2 Camshift的原理与算法
• 4.5 粒子滤波算法
• 4.5.1 顺序重要性采样
• 4.5.2 粒子滤波算法描述
• 4.6 基于CAMSHIFT寻优的粒子滤波跟踪
• 4.6.1 单目标跟踪原理
• 4.6.2 跟踪算法
• 4.6.3 实验结果分析
• 4.7 本章小结
• 第五章 多视点多目标轨迹的关联与信息融合
• 5.1 引言
• 5.2 视域分界线的计算
• 5.2.1 投影不变量
• 5.2.2 重叠视域分界线
• 5.3 模糊均值聚类（FCM）
• 5.4 多视角下多目标的位置确定
• 5.4.1 算法原理
• 5.4.2 观测点与轨迹关联
• 5.4.3 实验结果分析
• 5.5 本章小结
• 第六章 多视点智能监控实验平台
• 6.1 软件测试
• 6.2 硬件测试平台
• 6.3 系统框架
• 6.3.1 系统模块划分
• 6.3.2 系统算法设计流程
• 6.4 系统仿真实验
• 6.4.1 图像采集
• 6.4.2 DM6437测试接线图
• 6.4.3 实验环境
• 6.5 本章小结
• 结论与展望
• 参考文献
• 攻读博士学位期间取得的研究成果
• 致谢
• 作者简介