基于视频的人体运动跟踪与重构方法研究

论文摘要

人体运动的视频分析作为计算机视觉方面的一个研究热点,已广泛应用于智能监控、新一代人机交互、体育运动分析以及虚拟现实等研究领域。由于单目视频数据来源广泛,各种电影、体育运动和舞蹈都以单目视频的形式存储,因而基于单目视频的运动跟踪与分析成为当前研究的一个重要方向。在单目视频中,人体运动目标从三维投影到二维会造成深度信息丢失,因而仅从单目视频恢复三维运动姿态是一件十分困难的事情,研究工作极富挑战性,吸引了越来越多的研究者的关注。本文在总结和分析国内外相关研究工作的基础上,针对视频对象分割、基于单目视频的人体运动跟踪、三维姿态恢复和重构等方面进行了研究。其主要研究内容和取得的成果如下:1.提出一种利用先验概率模型及粒子滤波进行视频分割的算法在传统的背景减除来提取运动目标的方法中,在背景像素值分布服从高斯模型并按照3σ规则进行图像分割时,虽然能够很好地提取背景,但在前景的像素值分布与背景的像素值分布有重叠的区间时,会产生将前景误分割为背景的现象。因此本文算法通过粒子滤波及先验概率模型对下一帧中的运动目标进行预测,根据预测值得到一个自适应分割阈值而进行视频对象分割,从而降低了分割结果中前景点误分割为背景点的概率。2.提出一种从二维图像恢复人体关节三维坐标的算法在没有先验知识的情况下,从二维图像恢复对应的三维坐标是一个病态问题。比例正交投影在满足一定的约束条件下,可以重构出人体关节的相对三维坐标。由于比例正交投影只是真实投影的近似,因而由该方法重构出的人体关节三维坐标与真实值偏差较大。本文在透视投影模型下建立了人体关节的三维相对坐标值估算方法,采用逆运动学获得各关节的旋转欧拉角。与传统算法相比,该算法具有无需摄像机标定、对人体运动没有特别约束、使用简单和人体关节三维坐标估算精确等优点。3.提出一种适用于单目视频的无标记人体运动跟踪方法在现有的无标记单目视频运动跟踪方法中,由于深度信息丢失,一般只能从视频中跟踪出人体的二维坐标信息,而不能进行三维运动跟踪。另外,由于缺少显著的特征标记,现有方法很难进行长序列人体运动跟踪。针对这一现象,提出了一种基于形变外观模板匹配进行单目视频的三维人体运动跟踪算法。算法的创新在于:1)利用正向运动学及逆向运动学得到二维图像上某一候选关节点对应的形变外观模板,通过模板匹配从二维视频中恢复人体三维运动姿态;2)采用层次化方法来恢复人体三维运动姿态,其最优三维人体运动姿态采用局部搜索获得,能够进行长序列人体运动跟踪。4.提出一种基于H-anim标准下的三维人体动画显示方法根据VRML中H-anim标准对虚拟人进行几何建模。在虚拟人文件导入过程中,利用有限状态机（FSM）对文件进行解释,为便于虚拟人的显示及控制,以树型数据结构表示虚拟人几何数据,完成了一个用于三维虚拟人动画的开发包VHASDK。在VHASDK的基础上提出了一种利用视频跟踪数据驱动进行三维人体动画的方法,该方法生成的人体动画逼真、成本低,能够应用于虚拟现实、计算机游戏、动画制作等领域。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 引言
• 1.2 研究背景
• 1.3 相关应用
• 1.4 研究内容与贡献
• 1.5 论文组织结构
• 第二章 相关研究综述
• 2.1 引言
• 2.2 国内外研究现状
• 2.3 图像处理及底层特征提取
• 2.4 基于视频的人体运动跟踪方法分类
• 2.4.1 按照跟踪精度分类
• 2.4.2 按照所采用的摄像头数目分类
• 2.4.3 按照状态搜索方法进行分类
• 2.4.4 按照是否采用模型进行分类
• 2.5 基于模型的人体运动跟踪
• 2.5.1 人体模型及其表示
• 2.5.2 运动模型
• 2.5.3 模型初始化
• 2.5.4 姿态评价方法
• 2.6 无模型匹配的人体运动跟踪方法
• 2.6.1 机器学习的方法
• 2.6.2 基于例子的方法
• 2.7 相关优化算法
• 第三章 应用粒子滤波及先验概率模型进形式频对象分割行视频对象分割
• 3.1 引言
• 3.2 背景减除法
• 3.2.1 静态场景下利用背景减除法进行视频分割
• 3.2.2 动态场景下利用背景减除法进行视频分割
• 3.3 应用粒子滤波及先验概率模型进行视频对象分割
• 3.3.1 粒子滤波算法简介
• 3.3.2 算法实现
• 3.4 实验结果及分析
• 3.5 本章小结
• 第四章 相关模型表示
• 4.1 人体几何模型
• 4.1.1 人体骨骼模型
• 4.1.2 人体外观模型
• 4.1.3 坐标变换模型
• 4.2 摄像机成像模型
• 4.2.1 成像模型
• 4.2.2 确定dz与ds之间的变换方程
• 4.2.3 透视投影模型下的三维坐标估计
• 4.3 运动模型
• 4.5 实验结果及分析
• 4.5.1 实验一
• 4.5.2 实验二
• 4.6 本章小结
• 第五章 基于逆运动学的三维人体运动跟踪
• 5.1 引言
• 5.2 算法概述
• 5.3 系统初始化
• 5.3.1 计算人体骨骼模型中骨骼段相对长度
• 5.3.2 外观模型初始化
• 5.4 层次化关节角度估计
• 1位置估计'>5.4.1 根关节J₁位置估计
• 5.4.2 最优关节角度估算
• 5.5 实验结果及分析
• 5.5.1 实际人体运动视频跟踪实验
• 5.5.2 与比例正交投影进行三维坐标重建算法的比较实验
• 5.6 本章小结
• 第六章 三维虚拟人动画
• 6.1 引言
• 6.2 虚拟人几何建模
• 6.2.1 H-anim结构分析
• 6.2.2 有限状态机（FSM）的设计
• 6.2.3 有限状态机驱动算法
• 6.2.4 VHA（Virtual Human Animation）开发包设计
• 6.3 三维虚拟人驱动
• 6.3.1 将欧拉角转换成等效轴角的形式
• 6.3.2 四元数插值
• 6.4 三维虚拟人动画
• 6.5 实验结果及分析
• 6.6 本章小结
• 第七章 结论与展望
• 7.1 本文工作总结
• 7.2 进一步研究工作展望
• 参考文献
• 附录A:本文插图索引
• 附录B:本文附表索引
• 附录C:本文公式索引
• 致谢
• 作者攻读博士学位期间的主要研究成果