面向多视点系统的IBR技术研究

论文摘要

随着计算机和通信技术的迅速发展,三维（3D）视频显示将成为下一代主流视频显示技术。与传统2D视频相比,3D视频与人的视觉更加匹配,使人们在观看时能获得丰富的立体感和沉浸感。自由视点视频（FVV）或自由视点电视（FTV）是本世纪初迅速发展起来的3D视频新技术,除立体感外其最基本的特性是能提供交互性——用户可以选择视点,系统能根据用户的选择生成相应视点的画面。这种生成任意位置中间视点图像的技术即基于图像的绘制（Image-Based Rendering,IBR）技术,它的主要应用价值是从一系列已知的参考图像出发来生成新视点的图像,可减少需要存储和传输的数据量,在较低的网络带宽时获得更好的视觉效果,已经成为国际上信号处理一个研究热点。本文对IBR中的一些关键技术进行了深入研究,主要贡献及创新点包括以下几个方面:提出一种基于相关性和Tikhonov正则化方程的多视视点合成方法。主要包含以下内容:引入相关信息计算初始视差,并对遮挡区域进行处理;其次利用其它视点图像信息来对视差进行修正,最后用基于一种变异的Tikhonov正则化方程对合成视点的质量进行优化和提高。针对光线空间任意视点绘制的应用场景,提出了一种基于分层预测的光线空间插值方法,实现在稀疏光线空间中完成插值,完成光线空间中各视点的绘制。不同于常用插值方法,该方法从预测结构进行插值,和参考视点一起完成对新视点的预测插值。与传统的BMI和基于光线空间片间相关性的插值方法相比,所提出的基于分层预测的光线空间插值方法能显著提高光线空间的绘制质量。为能在保持重建视点图像质量的同时减少传输所需带宽,提出了一种基于图像修复的DIBR方法,依据单路参考图像序列完成新视点的图像绘制。对于新视点深度图中边缘模糊和新视点图像中存在空洞采用深度图像预处理和图像修复来实现边缘保留和空洞填补,与传统的至少需要传输两路参考图象及相应深度来绘制中间视图像的DIBR方法相比,能有效地降低传输所用带宽。在带宽资源有限的环境中,该方法相比传统方法有较大的优势。实验结果证明该方法的正确性和有效性。在提高深度估计算法生成深度图的精确度方面,针对小基线的多视点视频提出了一种基于深度图增强的视合成方法,利用总体最小二乘（total least squares,TLS）算法消除背景分割区域上由传输噪声和分割误差所带来的影响,实验结果证明该方法可以有助于减少误匹配噪声的影响,提高合成视点的质量。对于IBR中重要的光场绘制技术,提出了一种基于人眼关注的光场绘制方法。针对光场相机的采集图像,计算出显著性区域,将人眼关注度引入到其中,根据相机参数和几何场景进行光场绘制,从而得到新的视点图像。使原本由于深度不连续导致的图像模糊区域变得清晰。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 引言
• 1.2 国内外研究现状及存在问题
• 1.2.1 国内外研究现状
• 1.2.2 标准制定及产业化
• 1.2.3 存在的问题
• 1.3 本论文的主要工作和内容编排
• 第二章 基于图像绘制的基础理论
• 2.1 立体视觉原理
• 2.2 视差/深度的获取
• 2.3 IBR 技术分析
• 2.4 几种常用的IBR 绘制方法
• 2.5 小结
• 第三章 光线空间的视图生成技术
• 3.1 多视点平行相机几何模型
• 3.2 视差估计及处理
• 3.2.1 视差估计及遮挡处理
• 3.2.2 基于多视点信息的视差修正
• 3.3 光线空间任意视点绘制
• 3.3.1 光线空间的表示方法
• 3.3.2 光线空间的插值方法的研究
• 3.3.3 基于分层预测的光线空间插值方法
• 3.4 实验结果及分析
• 3.4.1 中间视点合成结果比较
• 3.4.2 光线空间合成结果比较
• 3.5 本章小结
• 第四章 面向三维立体显示系统的 DIBR 绘制
• 4.1 深度图预处理
• 4.2 三维图像映射
• 4.2.1 相机模型和坐标系统
• 4.2.2 三维图像变换
• 4.2.3 三维图像映射
• 4.3 空洞填补
• 4.3.1 图像修复
• 4.3.2 基于快速图像修复技术的空洞填补
• 4.4 实验结果及分析
• 4.4.1 实验结果
• 4.4.2 实验效果对比
• 4.5 本章小结
• 第五章 一种基于深度图增强的视点生成
• 5.1 算法概述
• 5.2 深度图的表示
• 5.3 基于深度信息增强的视点合成
• 5.4 实验结果与分析
• 5.5 本章小结
• 第六章 基于人眼关注度的光场绘制
• 6.1 基于BP 算法的视差图的计算
• 6.2 显著图的获取
• 6.3 算法流程
• 6.4 实验结果
• 6.5 本章小结
• 第七章 总结与展望
• 7.1 论文工作总结
• 7.2 展望
• 参考文献
• 附录
• 作者在攻读博士学位期间公开发表的论文
• 致谢