基于立体视觉的目标检测与跟踪

论文摘要

目前,由于传统监控系统的简单记录功能已经无法满足社会公共安全的更高层次要求,因此具有多目标识别与跟踪跟踪的新一代智能监控系统逐渐成为了重要的研究课题。智能地检测、跟踪场景中的目标能提高对关键场所的监控能力,及时发现潜在的危险因素,提高人民群众的安全感,防止恐怖主义的侵袭。本论文着重研究如何采用计算机立体视觉以及模式识别等相关技术构成一套全自动的多目标在线检测与跟踪系统,实现对监控场景中多目标的统计、定位、跟踪以及运动轨迹分析,直至提取出目标的精确轮廓。主要研究工作有摄像机成像原理建模与参数标定分析,双目成像的立体视觉匹配与三维场景快速重建,核函数的全自动聚类分析以及多特征融合的能量泛函与偏微分求解。具体的创新点如下:1.提出了基于核函数的离散点聚类算法将世界坐标系下的离散点聚合不同的集合,通过这些集合与监控场景中的目标建立一一对应关系,并以这些聚类的中心位置、方向等参数确定监控场景中的目标数量、位置与运动轨迹。相机坐标系下的特征点投影到地板平面的位置与高度作为已知参数,并构建世界坐标下的空间特征点密度分布函数。以mean-shift方法在不计算空间真实密度值的前提下直接估计其梯度方向,用爬山法搜索密度空间的所有局部最大值。以这些局部最大值为基础划分空间中的所有特征点形成聚类集合,检测监控场景中的目标。同时目标的跟踪问题也相应简化为空间最大值的更新过程。2.提出以系统化的分层逐步组合模型融合颜色、纹理、边缘、帧差等多个特征构成统一的特征描述概率测度。选取目标与背景像素组成正负样本集合,并分别提取颜色和多尺度纹理特征构成非参数概率空间。组合多个特征构成背景与目标特征描述向量估计图像像素的条件概率,贝叶斯分类器以计算的后验概率区分背景像素与目标像素。另一方面,高斯混合模型在帧差特征中提取变化较大的区域,与图像边缘构成目标边缘的测度函数增强目标边缘同时抑制背景边缘。自适应权重函数评价不同特征的可靠性给予恰当的权重值组合,形成完整目标和背景的判断模型。3.在活动轮廓模型框架下构建了一种区域测地活动轮廓模型,以区域模型在全局中快速推动活动轮廓大致定位目标轮廓,以测地模型在局部逐步细化结果直至完全与目标精确对齐。梯度下降流求解区域测地模型的偏微分方程,迭代初始化轮廓直至收敛到最小能量曲线。此外,基于目标运动特征的最优初始化轮廓设置可大大减少迭代次数,实现在线的目标轮廓跟踪。4.设计一种新的场景特征提方法以图像邻域空间的四种基本梯度基元为依据,分离出纹理丰富的特征点作为匹配对象。两段式的匹配算法将左右视图的扫描线切分成不同片段后逐段分层对应匹配,随后归一化的交叉相关方法计算特征点的精确视差还原其相机坐标系下的三维坐标。大量的实验证明本文所提的监控系统可在室内外环境中在线检测跟踪多个目标,对环境中的光照变化、阴影覆盖、目标遮挡等复杂条件都表现较好的抗干扰性能。此外,监控系统只需设置监控目标的空间形状参数,可广泛应用于解决行人或车辆等多类型目标的检测跟踪问题。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 国内外研究现状
• 1.3 当前存在的主要问题
• 1.4 本文的主要工作及研究内容安排
• 第二章 单相机标定
• 2.1 摄像机原理及数学模型
• 2.2 平面标定方法
• 2.2.1 建立标定约束条件
• 2.2.2 估计相机内外参数
• 2.3 相机标定实验及评价
• 第三章 双目视觉的极线几何与矫正
• 3.1 双目视觉的极线约束
• 3.2 图像矫正
• 3.3 立体匹配及场景重建
• 3.3.1 全局分段视差匹配
• 3.3.2 局部模版细化匹配
• 3.4 双目矫正实验及评价
• 第四章 多目标的检测与跟踪
• 4.1 三维立体坐标系统
• 4.2 多目标的检测
• 4.3 多目标的跟踪
• 4.4 构造位置与方向核函数
• 4.5 多目标系统的实验及评价
• 第五章 多特征融合的轮廓跟踪
• 5.1 区域特征分析及区域能量泛函
• 5.2 边界特征分析及边界能量泛函
• 5.3 曲线演化及最小化能量泛函
• 5.4 运动特征与曲线初始化
• 5.5 单目标系统的实验及评价
• 第六章 总结
• 参考文献
• 致谢
• 攻读学位论文期间发表的学术论文目录