多摄像机协同的行人检测技术研究

论文摘要

随着监控摄像机的日益普及,迫切需要将智能识别技术引入到视频感知网络中来,实现智能化的场景监测。本文主要研究多摄像机协同环境下的行人检测。传统的方法主要在单摄像机下,利用图像处理和机器学习的方法对行人进行检测,检测的精度和速度都还有待提高,且不能很好地解决遮挡问题；也有一些方法利用多摄像机来解决遮挡问题,但这些方法都是假设场景中的目标是连续运动的,并且也不对目标的类别进行判断,即只是利用多摄像机来对连续运动的目标进行跟踪,而不对目标进行识别。针对传统行人检测方法中出现的问题,本文从多摄像机协同的目标搜索、行人的特征提取和分类、多视角的目标融合和遮挡处理三个方面,提出了一系列的模型和方法,并且搭建了一个具有实用价值的人数统计系统原型。论文的基本思路是：先利用多视角几何的方法来构造三维搜索空间,把搜索到的候选目标投影到二维图像中；再对投影后的目标提取特征并进行分类,判断是否是行人；最后,对各个摄像机中检测到的目标进行融合和遮挡处理,从而快速准确地检测出场景中的行人。本论文的主要贡献如下：(1)提出了一种基于三维空间的目标搜索方法,从而显著地减少了候选行人目标的搜索空间。行人检测的第一步是在图像中搜索候选目标,即在图像平面中搜索可能含有行人的子图像。和传统的二维搜索方法不同,我们利用多视角几何的方法来构建三维地面；再利用行人和地面间及行人间存在的空间约束,通过重投影的方法来定位图像中可能含有行人的区域。和传统方法相比,这种搜索方法不仅能明显地降低搜索空间,有效提高检测率,而且对运动和静止的行人都是有效的。(2)提出了一种多级边缘和多级纹理的特征提取方法,该方法对行人的姿态变化具有鲁棒性。对上一步中得到的候选区域,我们需要对其进行分类,判断是否为行人。我们用多级边缘和多级纹理特征来描述行人,并对这个特征进行降维,去掉冗余的信息。实验表明,我们的方法能有效地解决行人的姿势和形态的变化问题。进一步,我们采用级联的方法对该特征进行加速,达到了实时计算的目的,并提出了一种改进的支持向量机训练方法,在加速了特征计算的同时,还保持了近似相同的检测精度。(3)提出了一种误差容忍的单应性约束方法,实现了多视角的目标融合和遮挡处理。对每个摄像机下检测到的目标,我们采用重投影的融合方法来修正检测结果,进一步提高了检测精度。为了将检测结果应用于人数统计,我们需要知道各个摄像机中检测到的行人中,哪些是同一个目标。在本文中,我们提出了一种误差容忍的单应性约束方法,较好地实现了多视角的目标匹配,从而较好地解决了遮挡问题。(4)实现了一个多摄像机协同的人数统计系统。针对智能监控应用对自动人数统计系统的需求,我们在上述的行人检测方法的基础上,提出了基于粒子滤波跟踪的边界控制法来统计场景中进和出的行人数,从而设计出了一个多摄像机协同的人数统计系统原型。通过在实际场景中的测试结果表明,我们的方法对拥挤和稀疏人群均能达到很好的统计精度。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景和意义
• 1.2 行人检测的研究简介
• 1.2.1 基于红外线的行人检测
• 1.2.2 基于单摄像机的行人检测
• 1.2.3 基于多摄像机的行人检测
• 1.3 行人检测存在的问题
• 1.4 本文研究内容
• 1.5 论文组织结构
• 本章参考文献
• 第二章 基于三维空间的目标搜索算法
• 2.1 引言
• 2.2 相关工作
• 2.2.1 滑动窗口技术
• 2.2.2 多摄像机协同的目标搜索方法
• 2.3 两摄像机协同的三维空间目标搜索方法
• 2.3.1 透视校正
• 2.3.2 多视角图像对应点标定
• 2.3.3 三维地面构建
• 2.3.4 三维地面离散化
• 2.3.5 重投影
• 2.4 三摄像机协同的三维空间目标搜索方法
• 2.5 实验结果与分析
• 2.5.1 搜索性能比较
• 2.5.2 行人检测性能比较
• 2.5.3 两摄像机和三摄像机检测性能比较
• 2.6 本章小结
• 本章参考文献
• 第三章 行人的特征提取及其加速方法
• 3.1 引言
• 3.2 行人的特征提取方法
• 3.2.1 方法概述
• 3.2.2 多级边缘特征
• 3.2.3 多级纹理特征
• 3.2.4 基于PCA的特征降维
• 3.3 快速特征提取方法
• 3.3.1 方法概述
• 3.3.2 基于SVM的多示例学习和行人分类
• 3.4 实验结果与分析
• 3.4.1 多级特征结构验证
• 3.4.2 特征降维性能测试
• 3.4.3 快速特征提取方法性能测试
• 3.5 本章小结
• 本章参考文献
• 第四章 多摄像机目标融合和行人计数
• 4.1 引言
• 4.2 多视角目标融合和遮挡处理
• 4.2.1 多视角目标融合
• 4.2.2 基于单应性约束的遮挡处理和融合
• 4.3 边界控制的多摄像机行人计数方法
• 4.3.1 方法概述
• 4.3.2 基于粒子滤波算法的行人跟踪
• 4.4 实验结果与分析
• 4.4.1 检测性能度量方法
• 4.4.2 PETS数据集上测试效果
• 4.4.3 EPFL数据集上测试效果
• 4.5 本章小结
• 本章参考文献
• 第五章 行人计数原型系统设计与实现
• 5.1 问题背景
• 5.2 智能视频监控系统简介
• 5.2.1 智能视频监控系统主要功能
• 5.2.2 智能视频监控系统结构
• 5.2.3 智能视频监控系统的应用
• 5.3 行人计数系统总体设计
• 5.3.1 应用场景
• 5.3.2 系统运行环境
• 5.3.3 系统设计方案
• 5.4 系统测试
• 5.4.1 室内场景测试效果
• 5.4.2 室外场景测试效果
• 第六章 总结与展望
• 6.1 论文工作总结
• 6.2 下一步的工作
• 致谢
• 攻读博士学位期间发表和录用的论文
• 攻读博士学位期间已授权的专利
• 参加的科研项目