基于动态图像序列的非刚体运动重建研究

论文摘要

从动态图像序列中恢复物体的三维结构与运动信息是计算机视觉领域的重要研究内容之一。基于动态图像序列的因式分解法具有较强的鲁棒性和准确性,因此该方法在解决三维运动重建问题中应用最为广泛。传统因式分解法的研究对象主要是静态场景下的刚性物体,对于动态场景下的非刚体难以直接应用传统的因式分解法进行处理。目前已有的非刚体三维运动重建算法都简单的假设非刚体的形状基个数已知,然而形状基个数对三维重建方法来说十分重要,如果形状基个数估算错误,会导致重建算法完全失效。此外已有算法都假设摄像机是仿射摄像机模型,仿射模型是真实透视投影模型的近似,这种近似只有在物体尺寸相对于物体与摄像机的距离很小时才成立,当物体距离摄像机较近时会造成较大的重建误差。针对以上问题,本文主要做了以下几方面的工作:(1)提出了一种基于单目图像序列的非刚体形变程度估计方法。形变程度估算是非刚性物体结构和运动分析研究中的一个重要问题。现有的形变程度估计方法通常不考虑特征点丢失问题,并假设无位置误差或不确定性是各向同性的,使得这些形变程度估算方法的适用性变得很差。为使算法更实用,本文提出了一种同时考虑图像的方向性误差和特征点数据丢失问题的形变程度估计方法。对人体活动图像序列的实验表明,该方法的适用性强且结果可靠。(2)研究了一种改进的线性迭代算法,解决在真实透视投影模型下从动态图像序列中恢复非刚体的三维结构与运动信息问题。现有算法都假设摄像机为弱透视投影模型,而这种假设只有在物体尺寸和深度变化相对于物体与摄像机的距离很小时才成立。因此本文利用线性迭代算法将非刚体因式分解法从弱透视投影模型下扩展到一般透视投影模型下。对人脸面部表情变化的动态图像序列实验,表明了本文改进算法的有效性和精确性。(3)应用幂因式分解法来解决基于动态图像序列的非刚体三维运动重建问题。基于奇异值的因式分解法中,对变换矩阵求解较为复杂,并且该方法的重建误差较大。因此本文研究利用幂因式分解来解决从动态图像序列中恢复非刚体的三维结构和运动信息,对人脸图像序列的实验验证了该算法的重建结果比用基于奇异值的因式分解法所得的结果更为精确。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题背景与研究意义
• 1.2 物体运动形式的分类
• 1.3 三维运动重建的研究现状
• 1.3.1 三维运动重建方法的分类
• 1.3.2 三维运动恢复方法的基本分类
• 1.3.3 刚体三维运动重建
• 1.3.4 非刚体三维运动重建
• 1.3.5 存在的问题
• 1.4 本文的主要内容与结构安排
• 1.4.1 本文主要研究内容
• 1.4.2 本文结构安排
• 第二章 三维运动重建算法的理论基础
• 2.1 摄像机模型
• 2.1.1 常用坐标系及其转换关系
• 2.1.2 摄像机参数
• 2.1.3 透视投影的线性近似
• 2.2 因式分解法
• 2.2.1 问题描述
• 2.2.2 刚体因式分解法
• 2.2.3 非刚体因式分解法
• 2.3 本章小结
• 第三章 非刚体运动形变程度估计
• 3.1 引言
• 3.2 非刚体形变程度估计
• 3.2.1 计算形变程度
• 3.2.2 计算非刚体形心
• 3.2.3 处理数据丢失问题
• 3.3 实验结果与分析
• 3.4 本章小结
• 第四章 透视投影模型下的非刚体运动重建
• 4.1 引言
• 4.2 弱透视投影下的非刚体因式分解法
• 4.2.1 求解变换矩阵
• 4.2.2 求解旋转矩阵和加权系数
• 4.2.3 求解形状基个数
• 4.2.4 优化加权系数
• 4.3 透视投影下的非刚体因式分解法
• 4.3.1 弱透视投影和透视投影的关系
• 4.3.2 求解迭代因子
• 4.3.3 线性迭代法
• 4.4 实验结果与分析
• 4.5 本章小结
• 第五章 基于幂因式分解法的非刚体运动重建
• 5.1 引言
• 5.2 幂因式分解法
• 5.2.1 最小二乘法的基本原理
• 5.2.2 幂因式分解法的求解过程
• 5.2.3 结构连续性约束
• 5.3 实验结果与分析
• 5.4 本章小结
• 第六章 总结与展望
• 6.1 工作总结
• 6.2 研究展望
• 参考文献
• 致谢
• 攻读学位期间的研究成果