场景信息估计与遮挡条件下目标跟踪问题研究

论文摘要

本论文研究的内容是在单目固定摄像头监控条件下的场景信息估计以及遮挡条件下的目标跟踪问题。“场景信息估计”指的是估计场景内地面/非地面区域、地面相对深度以及地面相对不平坦程度。“遮挡条件下的目标跟踪”指的是对遮挡过程中的多个目标进行区域分割与跟踪。单目固定摄像头监控系统已经非常普及,但在这两方面的实用化仍然存在较大困难。所以,这些方面的研究成为计算机视觉领域的研究热点,近年来受到越来越多的关注。本文主要内容和成果如下:1、提出了基于半监督行人检测器的场景信息估计的框架。本文通过统计一段时间内行人在场景中各位置出现的概率以及合理的大小,估计出场景内地面/非地面区域、地面相对深度以及地面相对不平坦程度。相对于传统方法,新方法适用于地面不水平、摄像头参数未知的普通单目摄像头视频监控场景。另外,本文利用tri-training半监督框架训练行人检测器,利用少量标注样本,获得了满意的检测结果。2、提出了基于局部纹理的多非刚体目标区域分割与跟踪的算法。本文利用了短时间内大部分局部块在纹理上可区分以及空间上相对稳定的特点,提出了基于纹理的局部块表观模型。通过在线学习目标遮挡前的表观信息,来对遮挡过程中的多目标进行定位以及对应前景区域的分割。新算法能在地面深度信息未知、目标类别及运动规律未知、光照与尺度剧烈变化的条件下,对严重遮挡的多个非刚体目标进行定位以及对应前景区域的分割。3、提出了基于马尔科夫随机场的多刚体目标区域分割与跟踪的算法。本文利用数学形态学结构元提取刚体目标实时的轮廓及纹理特征,进而建立了一维时空马尔科夫随机场模型,实现对遮挡过程中的多个刚体目标进行区域分割与跟踪。相对于传统算法,新算法一方面利用了目标实时的表观信息而不是依赖先验空间模型假设,另一方面减少了随机场的点数,减少了计算量。以上方法均进行了详细的实验验证,实验结果表明了所提方法的有效性。

论文目录

• 摘要
• Abstract
• 第1章 引言
• 1.1 研究的背景及意义
• 1.2 场景信息估计的研究现状
• 1.3 行人检测的研究现状
• 1.4 多目标分割与跟踪的研究现状
• 1.4.1 问题分类
• 1.4.2 基于运动特征的方法
• 1.4.3 基于特征点的方法
• 1.4.4 基于表观模型的方法
• 1.4.5 基于马尔科夫随机场的方法
• 1.5 论文研究课题
• 1.5.1 场景信息估计领域
• 1.5.2 行人检测领域
• 1.5.3 多目标跟踪领域
• 1.6 论文主要工作
• 1.7 论文结构
• 第2章 基于半监督行人检测器的场景信息估计
• 2.1 研究背景
• 2.2 PSM图的定义
• 2.3 PSM图的透视关系
• 2.4 估计场景信息
• 2.4.1 地面的相对深度
• 2.4.2 地面的平坦程度
• 2.4.3 地面/非地面区域
• 2.5 半监督的行人检测
• 2.6 实验结果
• 2.7 本章小结
• 第3章 基于局部纹理的多目标分割与跟踪
• 3.1 方法简介
• 3.2 模型描述
• 3.2.1 模型结构
• 3.2.2 在线学习
• 3.2.3 遮挡判断
• 3.2.4 光照补偿
• 3.2.5 尺度归一化
• 3.2.6 局部块特征提取
• 3.3 遮挡过程中的物体定位
• 3.4 遮挡过程中的区域划分
• 3.5 实验结果
• 3.5.1 遮挡过程中多目标的区域划分与跟踪
• 3.5.2 参数敏感度分析
• 3.6 本章小结
• 第4章 基于马尔科夫随机场的多目标分割与跟踪
• 4.1 方法简介
• 4.2 遮挡过程中的跟踪模块
• 4.2.1 基本概念
• 4.2.2 基于层的场景解释
• 4.2.3 启动模块的条件
• 4.3 遮挡过程中的层标号
• 4.3.1 在第t ? 1帧提取特征点
• 4.3.2 在第t帧估计对应的特征点
• 4.3.3 定义第t帧的MRF点以及邻域
• 4.3.4 在PS中对遮挡相关层进行标号
• 4.4 优化处理
• 4.5 计算量分析
• 4.6 实验结果
• 4.7 本章小结
• 第5章 结论和展望
• 5.1 结论
• 5.2 对进一步工作的展望
• 参考文献
• 致谢
• 附录A 深度对图像区域面积的影响
• 个人简历、在学期间发表的学术论文与研究成果