基于视频的三维人体运动捕获方法研究

论文摘要

基于视频的人体运动分析是近年来模式识别、智能人机接口以及虚拟现实等研究领域中一个备受关注的前沿方向。它不仅具有重要的研究意义，而且在智能监控、体育运动分析、动画生成等方面具有广阔的应用前景。因此，它吸引了越来越多的研究者的兴趣。基于视频的人体运动分析的主要目的，是从一组包含人的视频图像序列中检测、识别、跟踪人体行为，并对其进行分析和理解。其中，运动检测和运动跟踪等属于底层视觉问题，而行为的理解和描述属于高层视觉问题。 本文针对基于视频的人体运动分析中的人体运动的行为理解的视觉问题，即人体运动捕获进行了研究，重点研究如何从蹦床、体操等复杂高动态视频中提取人体3D运动信息。创新之处如下： 1、在总体思想与方法上，提出了一种新的基于视频的3D人体运动生成方法 从运动视频中获取人体的3D运动信息是一个非常困难的问题。目前国内外的研究成果，都是只能对特定条件下采集的运动视频进行处理，并且只能针对例如走，跑步等简单的周期性运动类型。我们针对记录人体复杂运动的高动态运动视频，进行了基于视频的3D运动信息生成的研究，旨在得到3D人体运动数据的精确、整体描述。在研究策略中，我们加入了一些基于领域的知识，即，针对某种运动类型，充分利用基于领域内采集的3D运动数据库，同时，采用视频图像处理与学习策略相结合的策略来提取视频中的人体3D运动信息。我们选用蹦床运动视频作为研究实例，并通过大量实验数据进行了验证。实验结果表明，本文的方法避免了摄像机定标的繁琐计算过程，能对任意给定的运动视频进行处理；其次，由于采用基于领域的学习策略，与现有方法相比，本文的方法在计算稳定性与结果精度方面都有了很大的提高：重构效率可以达到次线性级（sub-lineay），能基本满足实时处理的要求；同时，经过量化测试，在输入视频数据较为理想的情况下，姿态重构的成功率稳定在97％以上；而且算法对图像噪声也具有较好的鲁棒性，在视频图像具有较大噪声的情况下，其姿态重构成功率也可以达到94.5％。在此基础上获取的连续3D人体运动数据也体现了良好的运动相关性和物理真实性。 2、提出了一种基于轮廓相似性匹配的人体姿态重构方法 3D人体姿态重构是基于视频的3D人体运动生成的基础。本文中，我们提出了一种改进的基于轮廓相似性匹配的人体姿态重构方法。该方法将经典的Hu矩不变量与仿射矩不变量（AMIs）相结合。实践证明，与经典的Hu矩方法相比，基于Hu矩不变量与仿射矩不变量（AMIs）相结合的方法不仅修正了Hu矩方法中由于旋转不变性所导致的误差，而且计算的总体效率也提高了10％以上。

论文目录

• 摘要
• 目录
• 第一章 绪论
• 1.1 研究背景
• 1.2 研究目的与意义
• 1.3 论文概要及成果
• 1.4 论文的组织
• 第二章 基于视频的人体运动分析综述
• 2.1 环境建模
• 2.2 运动分割
• 2.2.1 运动检测
• 2.2.2 目标分类
• 2.3 运动跟踪
• 2.3.1 基于模型的跟踪
• 2.3.2 基于特征的跟踪
• 2.3.3 基于区域的跟踪
• 2.3.4 基于活动轮廓的跟踪
• 2.4 行为理解、识别与运动重构
• 2.4.1 姿态估计（Pose Estimation）
• 2.4.2 运动识别（Recognition）
• 2.5 小结
• 2.5.1 趋势
• 2.5.2 难点
• 2.5.3 研究思路
• 第三章 整体技术框架
• 3.1 数据预处理
• 3.1.1 建立3D运动数据库
• 3.1.2 3D运动数据库的统计建模
• 3.2 运动重构阶段
• 3.2.1 3D人体姿态重构
• 3.2.2 人体姿态求精技术
• 3.2.3 基于运动库时空模型的3D运动生成
• 第四章 基于视觉不变量的3D人体姿态重构
• 4.1 轮廓预处理
• 4.1.1 2D轮廓库的建立
• 4.1.2 基于静态背景的人体轮廓提取
• 4.2 基于Hu&AMIs的人体姿态重构
• 4.2.1 Hu矩不变量
• 4.2.2 仿射矩不变量AMI（Affine Moment Invariants）
• 4.2.3 基于Hu&AMIs的3D人体姿态重构
• 4.3 实验结果
• 4.3.1 姿态重构
• 4.3.2 重构结果的真实性度量
• 4.4 小结
• 第五章 基于EMD的3D人体姿态重构
• 5.1 用于人体姿态重构的EMD方法
• 5.1.1 Embeddings
• 5.1.2 Locality-Sensitive Hashing
• 5.1.3 形状上下文（Shape Context）
• 5.1.4 形状上下文的PCA降维处理
• 5.2 实验结果
• 5.2.1 基于蹦床视频的3D人体姿态重构
• 5.2.2 系统效率分析
• 5.3 小结
• 第六章 基于视频内容的3D人体姿态求精
• 6.1 基于点集匹配&骨架模型的姿态求精
• 6.1.1 2D骨架移植
• 6.1.2 3D结构信息恢复问题描述
• 6.1.2 3D结构信息恢复算法
• 6.2 实验结果
• 6.3 小结
• 第七章 基于时空模型的3D人体运动重构
• 7.1 运动重构策略的确定
• 7.2 3D运动数据库的时空建模
• 7.2.1 一阶Markov转移模型
• 7.2.2 统计模型
• 7.2.3 聚类树和聚类森林
• 7.3 以时空模型为指导的运动重构
• 7.3.1 数据帧段的重构
• 7.3.2 分段重构结果的变形求精
• 7.3.3 分段重构结果的连接
• 7.4 实验结果与分析
• 7.4.1 基于蹦床视频的运动重构
• 7.4.2 与Lee方法的量化对比
• 7.4.3 系统效率分析
• 7.5 小结
• 第八章 基于视频的3D运动生成平台及应用
• 8.1 3D运动生成平台VHSportsTracking Ver1.0简介
• 8.2 在体育运动视频中的应用
• 8.3 小结
• 第九章 结束语
• 9.1 本文工作总结
• 9.2 下一步研究方向
• 参考文献
• 致谢
• 作者简历