图像超分辨率算法与硬件实现研究

论文摘要

本文首先介绍图像超分辨处理的研究目的和意义,图像超分辨率算法的研究现状,在此基础上着重研究了适应于不同应用场合的单帧图像超分辨图像算法及多帧图像超分辨率算法的数学原理,验证方法,评价手段及软硬件实现方法。尽管单帧图像插值算法在原理上分析是一个典型的病态问题,但在源图像信噪比高、放大比例在一定范围的情况下仍可满足实际应用的需求,尤其是在实时应用条件下或图像处理芯片设计中仍被广泛采用。文章回顾了传统的线性插值方法,包括理想插值、最近邻插值、双线性插值、四点双三次插值、六点双三次插值的数学表示方法及各自的频率特性。针对线性插值函数中低次插值方法获得的超分辨图像效果不理想、高次插值方法复杂度高、以及基于统计理论的单帧图像超分辨率算法不便于硬件实现这些特点,提出了一种算法复杂度低于双三次插值算法,而处理效果优于双三次插值算法的自适应牛顿插值算法,对其进行验证。多帧图像超分辨率算法利用序列图像之间包含相似但不完全相同的互补图像信息重构高分辨率图像,通常包含频域超分辨率重构及空域超分辨率图像重构。空域重建算法将插值、迭代、滤波和重采样放在一起处理,可以采用更广泛的观测模型。为此,本文提出了一种空域多帧图像超分辨率处理算法——基于Delaunay三角剖分的多帧图像超分辨率算法。该算法在空间不规则采样点的Delaunay三角剖分的基础上,对各顶点进行梯度估计,将每一个三角块区域采用双变量多项式进行拟合,获得一个连续且连续可微的曲面,然后对拟合曲面重采样,可获得任意比例的高分辨率图像。为了能有效的验证多帧图像超分辨率算法的有效性,设计了一种可由理想高分辨率图像产生低分辨率图像序列的相机运动模型,这样可以获得低分辨图像序列在高分辨网格上的配准参数,不必考虑影响低分辨率图像配准的各种因素,使多帧图像超分辨率算法的验证更具针对性。通过以上方法产生了几组不同的低分辨率图像序列,进行了如下对比实验:具有相同帧数但分辨率不同的低分辨率源图像序列的超分辨率重构;具有相同分辨率但采用不同帧数的低分辨率序列图像的超分辨重构。实验结果表明,低分辨率源序列图像的质量对超分辨率结果将产生关键性的影响;参与运算的序列图像的帧数越多,超分辨处理所得的高分辨图像视觉效果越好,但随着帧数的增加,视觉效果改善并不明显。图像质量评价作为图像处理系统及图像处理算法的性能预测的重要手段,分为主观评价方法及客观评价方法。主观评价方法可操作性差,常在实验室采用。基于误差统计的图像质量客观评价传统方法如PSNR和MSE目前被广泛应用于各种因素引起的退化图像的质量评价,某些情况下,其判断结果基本与图像主观视觉效果一致。但在某些特定条件下,这类基于误差统计的评价方法对图像质量的评价完全失效。为此研究了一种基于图像结构的质量评价方法,并对PSNR判断失效的几个实验结果采用基于图像结构的图像质量方法进行验证,获得了与图像主观质量一致的评价结果。图像超分辨率的非实时处理已不能满足实际应用的需求,超分辨率处理的专用芯片应用也日益广泛。限于目前的研究基础,本文没有对多帧图像超分辨率的硬件实现进行深入研究。对于单帧图像超分辨算法的硬件实现,以LCD定标器为研究背景,在分析平板显示技术的研究现状和发展趋势的基础上,设计了LCD定标器缩放引擎的系统结构,分析了LCD定标器的时序约束关系,并提出了双线性插值算法及自适应牛顿插值算法的硬件实现结构。然后对两种结构分别用Verilog HDL进行描述,在相关软件下进行仿真。为了降低了ASIC设计的风险,通常需要对设计的系统进行FPGA验证。确定适合于LCD定标器验证的合适的数据源,提出了相应的数据格式转换方案,设计了用于LCD定标器验证的评估板,然后对综合好的目标代码下载至评估板的FPGA中,验证整个系统的功能。

论文目录

• 摘要
• ABSTRACT
• 1 绪言
• 1.1 图像超分辨率的本质及应用范围
• 1.2 研究历史与现状
• 1.3 研究的目的和意义
• 1.4 论文的主要工作及论文结构
• 2 单帧图像插值原理分析及自适应NEWTON 插值算法研究
• 2.1 引言
• 2.2 线性插值算法
• 2.3 改进的单幅图像超分辨率算法
• 2.4 一种基于边缘的自适应图像插值算法研究
• 2.5 小结
• 3 多帧图像超分辨率重建算法与复原验证研究
• 3.1 引言
• 3.2 多帧图像超分辨率重建算法
• 3.3 基于DELAUNAY 三角剖分多帧图像超分辨率算法
• 3.4 多帧图像超分辨率复原流程
• 3.5 相机运动模型
• 3.6 低分辨率图像序列的生成
• 3.7 基于DELAUNAY 三角剖分的超分辨率复原验证
• 3.8 小结
• 4 超分辨率图像质量评价
• 4.1 引言
• 4.2 传统图像质量评价方法
• 4.3 基于图像结构的质量评价方法
• 4.4 小结
• 5 图像超分辨率算法的硬件实现
• 5.1 引言
• 5.2 研究背景
• 5.3 LCD 定标器超分辨率引擎的系统结构
• 5.4 LCD 定标器的时序推导
• 5.5 算法实现的硬件结构
• 5.6 系统仿真
• 5.7 小结
• 6 图像超分辨率算法的FPGA 验证
• 6.1 引言
• 6.2 数据源的获取及输出
• 6.3 代码综合
• 6.4 验证平台及结果
• 6.5 小结
• 7 结论
• 7.1 全文总结
• 7.2 研究展望
• 致谢
• 参考文献
• 附录 攻读博士学位期间发表的论文