基于压缩感知的视频超分辨率重建及并行化

论文摘要

压缩感知理论是最近几年提出的基于信号稀疏性的理论,它为图形学领域的很多方向提供了新的思路。使用基于压缩感知理论重建的图像相对于传统算法重建的图像能保持更多的细节信息,获得更好的重建结果,本文采用的重建思想就是基于压缩感知理论的。压缩感知理论本身的特点决定了重建过程是相对复杂的,以本文采用的视频为例,将分辨率为256×256的低分辨率视频重建为512×512的高分辨率视频,需要3～4秒的时间,但视频的实时性又要求每一帧的重建在很短的时间内完成(一般为几十毫秒),为了达到该目标,本文采用了如下优化策略：1)通过并行计算减少重建时间；2)减少数据在主机端和设备端之间的传递；3)通过研究视频解码,找到帧间冗余,减少重复计算。显卡提供了能进行并行计算的GPU,计算能力相对于CPU有了几十甚至上百倍的提高。并行计算的思想是将计算量大的部分通过并行计算的方式在GPU上实现,剩余的计算和少量的逻辑控制在CPU上实现,结果表明该模式相对于只使用CPU进行计算的模式加速了几十倍,为将重建算法应用到视频的实时重建提供了可能。由于最终生成的结果是在GPU的全局存储器中,可以借助openGL和CUDA的交互,将生成的结果直接在显卡上显示出来,减少了数据在内存和显存之间的传递,提高了帧率。日常常见的视频格式都是压缩视频,帧间冗余信息在视频的编解码过程中会有所体现。相邻的帧之间存在很多没有任何变化的块,对于这样的块可以保留上一帧的结果,而在下一帧中不需要进行重复计算,从而减少了计算量,进一步提高了重建帧率。经过以上三种优化策略,实现了对分辨率为256×256的低分辨率视频的实时重建(平均15帧每秒),重建结果相对于常见播放器拉伸后的结果有了明显的改进。

论文目录

• 摘要
• ABSTRACT
• 第一章 、绪论
• 1.1 课题背景和研究意义
• 1.2 国内外研究现状
• 1.3 本文的思路及创新点
• 1.4 本文的组织结构
• 第二章 、压缩感知理论简介
• 2.1 压缩感知理论提出的背景
• 2.2 压缩感知理论的数学模型
• 2.3 稀疏信号求解算法
• 2.4 压缩感知理论的应用
• 第三章 、压缩感知理论在视频重建中的应用
• 3.1 程序流程
• 3.2 重建效果对比
• 3.3 程序的具体设计与实现
• 3.3.1 RGB与YCrCb之间的转换
• 3.3.2 双三次插值的实现
• 3.3.3 Feather Sign算法思想
• 3.3.4 三个阶段耗时及复杂度分析
• 3.4 并行计算的必要性和可行性
• 3.5 算法实现在各个阶段面临的问题及改进思路
• 第四章 、GPU的硬件特性及并行程序优化
• 4.1 并行程序编写的特点
• 4.2 GPU的存储器层次及并行程序的存储优化
• 4.2.1 存储器层次
• 4.2.2 存储器优化思路
• 4.2.3 共享存储器的优化
• 4.2.4 kernel中变量数目的优化
• 4.3 减少数据在主机端和设备端之间的传递
• 4.4 配置优化与指令优化
• 4.5 各个阶段的加速比及分析
• 第五章 、压缩视频编解码及其在视频超分辨率重建中的应用
• 5.1 视频编码格式与视频文件格式
• 5.2 MPEG-4视频编解码思想
• 5.2.1 宏块的概念
• 5.2.2 帧间冗余的消除
• 5.2.3 帧内冗余的消除
• 5.2.4 变换编码与量化、熵编码
• 5.3 寻找帧间冗余信息
• 第六章 、总结与展望
• 6.1 重建效果对比
• 6.2 本文工作总结
• 6.3 未来工作展望
• 参考文献
• 致谢
• 攻读学位期间发表的学术论文目录
• 攻读学位期间参加的项目
• 学位论文评阅及答辩情况表