嵌入式自由视点视频系统的关键技术研究

论文摘要

本文提出了一种FPGA+DSP的嵌入式自由视点视频的系统解决方案,实现了从双路视频采集到多视点自由视点立体视频生成,为多视点裸眼显示器提供实时视频输入。实现的有立体视频的采集与显示,立体匹配,自由视点生成等模块。本文针对该方案中采集与显示、立体匹配、虚拟视点生成三个关键技术展丌了研究：首先是基于FPGA的双目立体视频的采集与显示,可以直接应用于分时／分色立体显示中,测试自由视点视频的效果；然后是FPGA中实现立体匹配算法,通过该算法可以从上一步骤中获取到的立体图像对生成视差图；最后是在DSP中根据视差图和立体图像对生成虚拟视点。第三章实现了基于FPGA的实时立体视频采集与多模式立体显示的设计。该系统的采集模块使用自制CMOS双目摄像头子卡,同时采集两路1280x1024分辨率的图像。该方案不仅包含了分时立体和分色立体两种主流的立体显示模式,并包含了两者之间的切换。分色方案中配合红蓝眼镜,可以享受实时的立体视频,这种方式下红蓝色差比较大,通过γ校正,对色彩进行了适当的调整。分时方案中佩戴的眼镜是主动快门立体眼镜,眼镜的丌关由同步发射器同步视频的帧信号,刷新频率受到显示器的限制,最高达到74Hz,色彩失真低,立体感强烈。第四章基于FPGA实现了Census立体匹配算法。该算法流程包括Census变换模块、Hamming距离计算模块、相关求和模块和比较输出模块。Census变换模块中使用7×7的变换窗口,将每个像素变换为一个48位的Census矢量。最终,生成一幅由像素与邻近像素关系信息组成的图像。为实现数据的实时处理,使用行缓存存储像素灰度值,输入的像素通过行缓存器移位得到延时的行像素。而窗口的设计是为了能够加速图像处理速度。第五章实现了基于DM6446的自由视点生成算法。用于预测处于两幅立体图像对中间位置的视图——虚拟视图。在自由视点立体显示系统中,需要多台摄像机同时采集场景画面,这时就需要有一定采集能力的摄像机阵列。这种系统对硬件要求高,获取到的数据量庞大,传输也是应用到实际中时碰到的问题。本文使用DSP平台,使用立体图像对和Census算法生成视差图,利用逆向映射法生成虚拟视点。自由立体电视可以使用该预测图作为输入源。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景及意义
• 1.1.1 自由视点
• 1.1.2 立体显示技术
• 1.1.3 自由立体显示方式
• 1.2 3D显示技术国内外研究情况
• 1.3 本论文的主要工作及章节安排
• 1.4 本章小结
• 第二章 自由视点视频的基础理论
• 2.1 自由视点视频基础知识
• 2.1.1 立体感觉产生机理
• 2.1.2 视差与景深关系
• 2.2 自由视点立体显示理论实现
• 2.3 本章小结
• 第三章 基于FPGA的立体采集与显示系统
• 3.1 引言
• 3.2 分时/分色立体显示原理
• 3.3 分时/分色双模式立体显示系统
• 3.4 采集系统设计
• 3.4.1 I2C配置摄像头芯片
• 3.4.2 I2C控制器设计
• 3.4.3 I2C配置模块
• 3.4.4 采集模块设计
• 3.5 体显示系统的FPGA硬件设计
• 3.5.1 4端口SDRAM控制器
• 3.5.2 分时立体显示系统
• 3.5.3 分色立体显示系统
• 3.5.4 两种模式之间的切换
• 3.5.5 实验结果及分析
• 3.6 本章小结
• 第四章 基于FPGA立体匹配算法实现
• 4.1 引言
• 4.2 匹配算法概况
• 4.2.1 视差理论
• 4.2.2 约束条件
• 4.2.3 区域匹配算法
• 4.3 匹配算法的FPGA实现
• 4.3.1 Census变换模块
• 4.3.2 Census相关求和模块
• 4.3.3 比较输出模块
• 4.3.4 实验结果与性能分析
• 4.4 本章小结
• 第五章 DSP实现虚拟视图生成技术研究
• 5.1 虚拟视点绘制技术
• 5.2 基于深度图的绘制技术
• 5.3 DIBR技术及难点
• 5.4 基于视差图的逆向映射虚拟视点生成技术
• 5.5 虚拟视点生成DSP平台介绍
• 5.5.1 DM6446简介
• 5.5.2 系统的软件设计
• 5.6 算法的实现及优化
• 5.7 系统验证
• 5.8 本章小结
• 第六章 总结和展望
• 致谢
• 参考文献
• 附录
• 详细摘要