大规模运动群体跟踪和三维人脸姿态纠正的研究

论文摘要

大规模的运动群体是自然界中十分常见并壮观的一种景象,常见的例子如飞行的鸟群、游动的鱼群和前进的昆虫群。这种现象很久以来就吸引了众多领域的科学家,他们并提出了不同的理论模型来模拟这种群体运动行为。深入探索群体运动背后的规律,将会促进人类社会众多领域的进展,如计算机科学、医学和物理学等。而探索中最关键的一步就是测量并分析真实自然界中群体运动的数据。近年来,随着计算机科学领域的迅速发展,通过视频摄像机,利用计算机视觉技术来测量群体中每个个体的运动已经成为可能。但是用计算机视觉技术来自动、准确地测量群体运动的轨迹是个十分有挑战性的任务。其中最为关键的两个难点是：1)群体中的个体数量和密度很大般从数百到上千只,用视频摄像机拍摄其运动时,在数字图像上将存在频繁的遮挡,这对可靠的跟踪每个个体的位置带来了极大困难；2)运动的群体中包含了形状和纹理都十分相似的个体,现有基于图像纹理特征的物体检测和匹配算法将难以适用。为了解决这些困难,本论文提出了两种自动、可靠并准确的大规模运动群体跟踪算法,并分别用来跟踪两种群体运动,即三维空间中飞行的大规模果蝇群和两维浅水中大规模游动的鱼群。通过两个视频摄像机在不同视角拍摄飞行的运动群体,本文提出的三维群体跟踪算法将问题建模为解决三个最大后验概率问题(maximum a posterior,MAP)。第一个MAP问题用于跟踪每个视频序列中的每个运动目标,并可以有效的处理因遮挡带来的跟踪难点。第二个MAP则通过融合空间中的几何约束和运动约束,提出了一种基于最大共极线运动长度的特征来可靠地匹配不同视角中纹理特征相似的个体；第三个MAP用来处理两维跟踪错误导致的不完整的三维轨迹片段。通过将MAP转化为线性分派问题(linear assignment problem, LAP),该方法可以实现快速的计算。利用这种算法,我们成功获取了将近五百只果蝇的三维飞行轨迹。鱼群的跟踪同样十分具有挑战性。和果蝇类似黑色粒子的形状不同,鱼的外形呈现杆状(rod),这就意味着当鱼群密度很大时,个体之间将会出现更长时间、更为频繁的遮挡。本论文提出的方法首先通过对鱼的外形进行建模,提出了使用了基于局部特征的个体检测方法,它通过利用融合检测到的角点和边缘信息,即使在频繁严重的遮挡下,依然能够很准确的检测到每个个体的位置。接着我们设计了参数自适应的滤波器来估计个体的复杂运动状态,提出的数据关联算法可以处理大部分短时间的遮挡。为了处理长时间的遮挡带来的难点,我们提出了利用轨迹片段的时间信息、运动信息和角度信息来估计遮挡期间的位置。我们将该算法用于跟踪实验室环境下不同密度的鱼群运动,和手工标定的真实数据进行比较的结果证明了该算法的鲁棒性和准确性。随着三维成像技术的快速发展,三维人脸越米越广泛应用于更多的场合,如何从获取的三维原始数据中检测分割出人脸并进行姿态纠正,是众多三维人脸应用中十分关键的一步。而原始数据中常见的各种干扰,如表情、头发和衣服等,为这个问题带来了很多难点。针对这些问题,本文提出了一个自动、准确的二维人脸检测和姿态纠正算法,它通过在尺度空间上对人脸三维曲面进行矩特征分析,提出了鼻尖位置检测算法。该特征区分能力强,检测位置准确。根据定位到的鼻尖位置,三维人脸区域可以准确地检测到并分割出来。接着,我们提出了基于曲面测地线距离的特征来确定鼻梁的方向。根据检测到的鼻尖位置和鼻梁线方向,该算法可以实现人脸的姿态纠正。在不同二维人脸数据库上的计算结果证实了该算法可以准确鲁棒地进行人脸检测和姿态。

论文目录

• 图目录
• 表目录
• 中文摘要
• Abstract
• 第一章 绪论
• 1.1 大规模运动群体跟踪的研究背景
• 1.2 大规模群体运动的定量研究方法综述
• 1.2.1 基于跟踪测量的定量研究
• 1.2.2 定量研究对理论研究的推动
• 1.2.3 最新的研究动态和难点
• 1.3 本文对大规模运动群体跟踪的贡献
• 1.4 三维人脸检测和姿态纠正的研究背景
• 1.5 本文对三维人脸检测和姿态纠正研究的贡献
• 1.6 本文的组织结构
• 第二章 问题建模和相关方法综述
• 2.1 目标检测
• 2.2 多目标跟踪
• 2.2.1 基于概率论的模型框架
• 2.2.2 运动物体的状态估计
• 2.2.3 数据关联
• 2.3 三维空间中的物体跟踪
• 2.3.1 相机标定
• 2.3.2 立体匹配
• 2.4 三维人脸姿态纠正的方法
• 第三章 三维空间中飞行果蝇群的跟踪
• 3.1 引言和相关工作
• 3.2 三维空间中果蝇群跟踪算法
• 3.2.1 基于空间指派的两维跟踪
• 3.2.2 基于共极线长度的轨迹匹配
• 3.2.3 三维轨迹的重建与连接
• 3.3 实验结果
• 3.3.1 目标检测
• 3.3.2 模拟实验结果
• 3.3.3 三维飞行果蝇群的跟踪结果
• 3.4 讨论与小结
• 第四章 大规模游动鱼群的跟踪
• 4.1 引言
• 4.2 大规模鱼群跟踪算法
• 4.2.1 个体位置检测
• 4.2.2 基于参数自适应滤波器的鱼群跟踪
• 4.2.3 运动遮挡处理
• 4.3 实验结果
• 4.3.1 实验设备
• 4.3.2 鱼群检测结果
• 4.3.3 鱼群跟踪结果
• 4.4 分析与讨论
• 4.5 结论
• 第五章 三维人脸检测与姿态纠正
• 5.1 引言与相关工作
• 5.2 三维人脸检测和姿态纠正算法
• 5.2.1 曲面尺度空间的矩特征
• 5.2.2 基于矩特征的三维人脸检测
• 5.2.3 基于鼻区域的三维人脸姿态纠正
• 5.3 实验结果及分析
• 5.3.1 采用的三维人脸数据库
• 5.3.2 参数的选取
• 5.3.3 鼻尖检测和三维人脸分割的实验结果
• 5.3.4 鼻梁线定位以及三维人脸姿态纠正的实验结果
• 5.4 讨论与分析
• 5.5 小结
• 第六章 总结和展望
• 参考文献
• 攻读博士期间的主要工作
• 致谢