超分辨率重建与图像增强技术研究

论文摘要

随着多媒体通信和信息处理技术的发展,人们对图像分辨率的要求越来越高。然而许多成像系统受其物理条件的限制,所得到的图像往往分辨率很低,而且会有退化变形和受噪声污染,图像的视觉效果难以满足人们的需要。如果采用改善物理硬件的方法来获取人们满意的高分辨率图像,则成本较高,而且有时难于实现。因此有必要考虑一种能够克服这些限制的新措施来提高图像空间分辨率。超分辨率重建技术就在这种背景下应运而生。该技术弥补了硬件方面的不足,从软件的角度提高图像的分辨率,增强图像的可用性。因此这种技术一经提出,便引起了许多学者的广泛重视和关注,目前在电视、遥感、医学和公安系统等领域都具有非常重要的实际应用价值。超分辨率重建技术是指融合多幅包含相似信息但存在不同细节的低分辨率图像得到一幅或多幅高分辨率图像,同时消除加性噪声以及由有限检测器尺寸和光学元件产生的模糊,而无须提高系统的硬件成本。近年来,该技术已成为国际上图像处理领域最活跃的研究课题之一。本论文系统回顾了超分辨率技术的相关理论和经典算法,针对实际应用中面临的诸多复杂问题,如模糊函数未知、存在光照影响、噪声等因素,以矢量量化、支撑向量机、流形学习等为主要数学工具,提出一系列超分辨率重建和图像增强方案。同时作为人脸识别的一个预处理环节,研究了基于独立分量分析的人脸超分辨率重建,有效提高了人脸识别率。本论文的主要成果概括如下:1、多帧图像的超分辨率重建。主要包括三个部分:第一部分针对不同类型的噪声,结合L1范数和平稳小波变换,提出基于平稳小波变换的鲁棒解决方案,同时由于综合考虑了图像各个方向的边缘特性,该方案还具有一定的自适应边缘保持能力。第二部分针对低信噪比环境下的超分辨率重建问题,提出基于峭度的重建方案。该方案首先对峭度图像进行了定义,然后分析得出峭度图像的两个重要性质:（a）峭度图像对高斯噪声具有鲁棒性;（b）峭度的绝对值随着图像模糊程度的加大而变小,因而最清晰的图像的峭度的绝对值应该最大。基于这两个特性,该方案在满足高分辨率图像与低分辨率图像之间的反卷积的剩余误差有界的前提下,最大化峭度绝对值来求解未知的高分辨率图像,然后采用Lagrange乘子法则求解此约束优化问题。与传统方法相比,该方案在低噪环境下具有明显的复原效果,且计算复杂度较低。第三部分主要研究了基于分割的超分辨率重建方案。利用高阶统计将图像分割成不同的区域,根据分割的结果对平坦区域和纹理区域实施不同的规整化泛函,以改善重建结果,有效保持图像细节信息。2、基于学习的单帧超分辨率重建。鉴于传统方法易受光照因素影响的问题,提出两种同时实现超分辨率重建和图像增强的方案。在对流形学习、自商图像（SQI）进行了深入研究的基础上,提出一种不随光照变化的图像表示方法—对数-小波变换（Log-WT）。然后分别利用Log-WT和SQI提取光照不变量作为图像特征,并假设高分辨率图像块构成的空间和低分辨率图像块构成的空间具有相似的局部几何结构,在流形学习的框架下,借助于局部线性嵌入的思想获得高分辨率图像的初始估计,最后对其加入先验约束,从而同时实现了超分辨率重建和图像增强。该方案在提高图像空间分辨率的同时克服了光照因素的影响,特别是对阴影效应的消除具有明显效果。3、提出基于矢量量化的盲超分辨率重建方案。该方案假设模糊函数的类型已知,且可由某一参数来表征,利用矢量量化技术,依照最小距离准则从一组候选参数中估计真实的模糊函数的参数。利用Sobel算子形成特征矢量增强了算法对辨识不同类型图像的模糊函数的鲁棒性,并利用DCT对特征矢量降维,减小了计算量。同时将其扩展应用于超分辨率图像重建中,辨识出多幅低分辨率图像的模糊函数,然后融合具有不同模糊函数和信噪比的低分辨率图像,实现了盲超分辨率图像重建。4、提出基于支撑向量机的盲超分辨率重建方案。该方案从模式识别的角度出发解决模糊函数的辨识问题。首先通过边缘检测和局部方差从训练图像中提取能够表征模糊参数信息的特征向量,然后利用支撑向量机建立特征向量与对应的候选参数的映射关系,最后通过建立的模型辨识低分辨率图像的模糊函数,进行超分辨率重建。5、提出基于独立分量分析的人脸超分辨率重建方案。该方案利用独立分量分析（ICA）理论从高分辨率训练图像中提取出独立分量,并对ICA系数进行先验估计。给定一幅低分辨率人脸图像,结合最大后验概率（MAP）估计理论求出ICA系数,然后ICA反变换得到高分辨率图像的估计。仿真结果表明该方案有效实现了人脸超分辨率重建,保持了人脸整体结构特征,且对光照、表情、姿态等因素具有一定的鲁棒性。将重建结果应用于人脸识别,有效提高了识别率。综上所述,本论文针对目前超分辨率重建技术中存在的问题,以模糊辨识、增加图像动态范围、消除光照和噪声影响为核心进行了深入研究,同时将支撑向量机、流形学习、ICA等理论应用于问题的建模和求解当中,增加了技术的实用性和灵活性。论文最后总结了该研究领域亟待解决的一些问题和下一步的研究重点,同时对该领域的发展趋势进行了展望。

论文目录

• 中文摘要
• ABSTRACT
• 缩略语简表
• 第一章 绪论
• 1.1 概述
• 1.2 国内外研究现状
• 1.2.1 基于重构的超分辨率技术
• 1.2.2 基于学习的超分辨率技术
• 1.3 超分辨率技术的应用
• 1.4 本论文的研究内容和主要贡献
• 1.4.1 多帧图像超分辨率重建技术研究
• 1.4.2 单帧超分辨率重建与图像增强技术研究
• 1.4.3 盲超分辨率重建技术研究
• 1.4.4 基于ICA的人脸幻想算法研究
• 第二章 图像及视频序列的超分辨率重建技术
• 2.1 引言
• 2.2 基本概念
• 2.3 数学模型
• 2.4 超分辨率重建的可行性分析
• 2.5 基本算法
• 2.5.1 基于重构的多帧超分辨率算法
• 2.5.2 基于学习的单帧超分辨率算法
• 2.5.3 超分辨率重建图像质量评价
• 2.6 小结
• 第三章 多帧超分辨率图像重建
• 3.1 引言
• 3.2 基于平稳小波变换的超分辨率重建方案
• 3.2.1 平稳小波变换
• 3.2.2 基于SWT的超分辨率重建
• 3.2.3 规整化参数的估计
• 3.2.4 仿真试验及分析
• 3.3 基于峭度的超分辨率重建方案
• 3.3.1 峭度图像的定义及性质
• 3.3.2 低噪环境下的超分辨率重建
• 3.3.3 仿真试验及分析
• 3.4 基于分割的超分辨率重建方案
• 3.4.1 基于高阶统计的图像分割
• 3.4.2 具有边缘保持特性的超分辨率重建
• 3.4.3 仿真试验及分析
• 3.5 小结
• 第四章 基于学习的单帧超分辨率图像重建
• 4.1 引言
• 4.2 流形学习
• 4.2.1 流形学习的基本理论
• 4.2.2 流形学习的基本算法
• 4.2.3 流形学习与超分辨率的内在联系
• 4.3 光照变化下的低分辨率图像获取模型
• 4.4 基于自商图像的超分辨率重建
• 4.4.1 自商图像
• 4.4.2 基于SQI的超分辨率重建
• 4.4.3 仿真试验及分析
• 4.5 基于对数—小波变换的超分辨率重建
• 4.5.1 对数—小波变换
• 4.5.2 基于Log-WT的超分辨率重建
• 4.5.3 仿真试验及分析
• 4.6 小结
• 第五章 盲超分辨率图像重建
• 5.1 引言
• 5.2 参数化模糊函数模型
• 5.3 基于矢量量化的盲超分辨率重建
• 5.3.1 矢量量化
• 5.3.2 模糊参数辨识
• 5.3.3 盲超分辨率图像重建
• 5.3.4 仿真试验及分析
• 5.4 基于支撑向量机的盲超分辨率重建
• 5.4.1 支撑向量机
• 5.4.2 模糊辨识及超分辨率重建
• 5.4.3 仿真试验及分析
• 5.5 两种方案的性能分析
• 5.6 小结
• 第六章 基于独立分量分析的人脸超分辨率重建
• 6.1 引言
• 6.2 独立分量分析
• 6.2.1 数学模型
• 6.2.2 FastICA算法
• 6.3 独立分量的提取
• 6.4 基于ICA的人脸超分辨率重建
• 6.5 仿真试验及分析
• 6.6 小结
• 第七章 结论与展望
• 附录
• 附录 A:基于总变分的图像去噪算法
• 附录 B:基于最小二乘的运动估计算法
• 参考文献
• 致谢
• 攻读学位期间发表的论文及专利
• 附件: 外文论文两篇
• 学位论文评阅及答辩情况表