红外图像中人体目标检测、跟踪及其行为识别研究

论文摘要

近年来,基于红外热成像的人体目标检测、跟踪与行为识别正逐渐成为智能视频监控、自动车辆辅助驾驶和高级人机接口等领域十分活跃的课题。与可见光图像相比,红外图像对于解决光照变化、阴影和夜间可视性等影响传统计算机视觉的问题提供了有力的支持,而且红外图像也具备较优的分割性能,但是目前存在的人体运动分析算法在红外图像中表现不佳;特别是红外图像本身固有的特点,如低对比度、低信噪比、无法校验的黑白极性反转以及人体周围易出现的光晕效应等,使得红外图像中人体目标的检测、跟踪和行为识别依然是一个极具挑战性的课题。本论文主要对红外热成像在智能视频监控领域中应用的关键技术进行研究,分析了红外热成像系统原理以及红外图像中人体目标成像的特点,研究内容涉及人体目标的检测、跟踪及其行为识别等方向。论文的主要研究成果如下:①为了快速检测到序列红外图像中的人体目标,提出了一种基于复合分类特征的序列红外人体实时检测方法。该方法首先建立序列图像的时空域联合的概率分布模型,同时采用基于马尔科夫随机场的最大后验概率模型的前景检测方法,获取人体候选区域的可能位置,然后融合方向梯度直方图特征、形体特征和亮度分布惯性特征来提高描述人体候选区域特征的准确性,最后采用支持向量机对候选区域进行分类以检测出人体。实验表明,与单一形状特征或形状无关特征相比,提出的方法能够准确检测人体目标,同时提高了人体正确检测率,实现了序列红外人体目标的实时检测。②为了获得更加精确的人体目标感兴趣区域的特征,提出了一种基于双密度双树复小波变换的小波熵特征的单帧红外人体鲁棒检测算法。该算法充分描述了红外图像中人体目标的多尺度分解频率空间的能量分布情况。其中,双密度双树复小波变换同时具有双树复小波变换和双密度小波变换的特性,如平移不变性、抗混叠性以及近似连续小波变换和良好的方向性;而小波熵能准确反映图像小波变换频率空间的能量分布信息,两者的结合使该算法能更好的描述图像特征。实验结果表明,本算法能够显著提高检测率和降低虚警率,是一种非常有效的红外人体检测方法。③针对红外图像序列中人体目标鲁棒跟踪问题,提出了一种基于亮度-距离投影空间的红外人体跟踪算法。该算法结合红外图像中人体目标的亮度分布和形态特征,首先在以人体目标区域中心点为圆心的各个圆环域中统计其亮度信息,从而构建亮度-距离联合直方图对人体进行特征表达。然后将上述表达模型与粒子滤波相融合,设计了粒子滤波框架下的人体跟踪算法。实验结果表明,与传统的跟踪算法相比较,提出的算法具有更好的鲁棒性和可行性。④为了克服红外图像中人体目标描述信息量不足的弱点,提出一种共生矩阵保局投影的红外人体跟踪方法。该方法的主要特点是构建了人体目标的共生矩阵保局投影子空间特征向量,并且融合了改进的均值漂移和粒子滤波跟踪框架。共生矩阵保局投影算法克服了红外图像中人体目标特征信息描述不足的缺点,同时具有保局投影算法所固有的线性映射的优点,而改进的均值漂移和粒子滤波框架则对非线性非高斯的系统有较好的适应性,从而使得系统能够实现鲁棒实时的人体目标跟踪。提出的方法在不同的红外视频序列中进行了充分的测试验证,理论分析和实验结果均表明所提出的方法是有效可行的,并且能够适应复杂的或有部分遮挡的场景。⑤针对红外热成像中人体行为识别问题,构建了一个红外人体行为数据库,并且提出一种融合时空轮廓和局部尺度不变特征的识别方法。该方法首先使用高斯混合模型和背景减除算法提取红外图像序列中人体行为的时空轮廓,同时根据轮廓计算能量图。然后,基于三维角点检测算子和立方体梯度描述符获取红外图像人体行为的局部尺度不变特征。最后,融合时空轮廓能量图和局部尺度不变特征作为人体行为特征表征向量,使用最近邻分类实现行为识别。实验结果表明,提出的方法有机地融合了时空轮廓和局部不变特征的互补信息,取得了令人满意的识别效果。上述研究成果主要针对智能视频监控领域的三个基本问题:人体目标检测、跟踪及其行为识别,并且按照它们在视频监控任务中所处的层次,由低到高有机连接,为红外热成像技术在智能视频监控领域的实用化提供了理论支持。

论文目录

• 中文摘要
• 英文摘要
• 1 绪论
• 1.1 引言
• 1.2 红外视频监控原理及关键技术
• 1.2.1 红外热成像技术
• 1.2.2 人体目标检测
• 1.2.3 运动目标跟踪
• 1.2.4 目标行为理解
• 1.3 主要的公共视频数据库
• 1.4 国内外研究概况及发展趋势
• 1.5 论文的主要工作和创新点
• 1.6 论文的章节安排
• 2 基于复合分类特征的序列红外人体实时检测
• 2.1 引言
• 2.2 基于MAP-MRF 模型的人体区域初定位
• 2.3 复合分类特征提取
• 2.3.1 方向梯度直方图特征
• 2.3.2 形体和惯性特征
• 2.4 基于支持向量机的人体检测
• 2.5 实验与分析
• 2.5.1 SVM 分类器参数与直方图级数选择
• 2.5.2 不同特征的分类检测对比实验
• 2.5.3 复合分类特征的人体检测实验结果
• 2.6 本章小结
• 3 双密度双树复小波变换的单帧红外人体鲁棒检测
• 3.1 引言
• 3.2 两级方向投影与人体区域初定位
• 3.3 双密度双树复小波变换基本理论
• 3.3.1 离散小波变换
• 3.3.2 双树复小波变换
• 3.3.3 双密度小波变换
• 3.3.4 双密度双树复小波变换
• 3.4 小波熵特征提取与分类
• 3.5 人体检测系统流程
• 3.6 实验与分析
• 3.6.1 与典型特征对比
• 3.6.2 不同小波变换特征的对比
• 3.7 本章小结
• 4 基于亮度-距离投影空间的红外人体跟踪
• 4.1 引言
• 4.2 基于亮度-距离投影空间的人体建模
• 4.2.1 亮度-距离投影二维直方图的构建
• 4.2.2 直方图级数的选择
• 4.3 融合粒子滤波框架的红外人体跟踪
• 4.3.1 粒子滤波基本思想
• 4.3.2 亮度-距离投影与粒子滤波的融合
• 4.4 实验与分析
• 4.4.1 粒子数目对跟踪精度的影响
• 4.4.2 不同视频序列的跟踪结果
• 4.5 本章小结
• 5 共生矩阵保局投影红外人体实时跟踪方法研究
• 5.1 引言
• 5.2 共生矩阵保局投影子空间
• 5.2.1 保局投影的基本原理
• 5.2.2 共生矩阵保局投影子空间特征的构建
• 5.3 改进的均值漂移和粒子滤波跟踪框架
• 5.3.1 均值漂移算法
• 5.3.2 基于均值漂移的粒子滤波跟踪框架
• 5.4 实验结果及分析
• 5.5 本章小结
• 6 融合时空轮廓和局部不变特征的红外人体行为识别
• 6.1 引言
• 6.2 红外行为图像采集及图像预处理
• 6.2.1 红外行为图像采集
• 6.2.2 图像预处理
• 6.3 红外行为特征表征及分类识别
• 6.3.1 时空轮廓能量图
• 6.3.2 局部尺度不变特征
• 6.3.3 分类识别
• 6.4 实验结果及分析
• 6.5 本章小结
• 7 全文总结及展望
• 7.1 全文工作总结
• 7.2 工作展望
• 致谢
• 参考文献
• 附录
• A. 作者在攻读博士学位期间已发表或已录用的论文目录
• B. 作者在攻读博士学位期间取得的科研成果目录
• C. 作者在攻读博士学位期间主持或参与的科研项目目录