-
有过拍摄经验的人经常能注意到,在抓拍图像时,由于相机的镜头与目标发生了相对运动,拍出来的图像是模糊不清的.而在实际应用中,模糊图像具有很大的局限性,因此根据模糊图像来产生清晰图像的复原技术应运而生.图像退化模型的建立对复原效果影响很大,所以建立合适的模型至关重要.图像复原算法一般是基于模糊图像退化模型,并根据退化图像PSF已知和未知两种情况来划分为图像非盲复原算法和盲复原算法.比较传统的算法像逆滤波算法、维纳滤波算法以及最小二乘法这些算法都属于非盲复原算法[1],这些算法能够解决特定环境和复原要求的需要.此外,近些年还出现了一些新兴的复原算法像神经网络法、超分辨率法及最大熵法等盲复原算法,这些算法具有新颖性和可实现性,为未来的图像复原领域开拓了新的方向.每种算法都有其自身的优缺点,在工程应用中都有特定范围的应用[2].由于图像退化的过程是越趋复杂的,所以对现存的算法改进或者开发新的算法是未来图像复原的方向.本文主要是对图像复原经典算法进行分析和总结,对以后的图像复原研究具有指导性意义.
全文HTML
-
图像退化模型是图像复原的基础,图像退化的原因具有多样性,因此模型的建立过程比较复杂.
退化过程一般被建模为一个退化函数h(x,y)和一个加性噪声n(x,y),假设一幅输入的图像为f(x,y),退化后的图像为g(x,y),其退化模型如图 1所示,退化公式为
对应频域下的描述为
式(2)中各项是对应(1)式各项的傅里叶变换.
在获取图像的时候,由于被拍摄物体与摄像机之间可能会发生相对运动,这就造成了常见的运动模糊.因为拍照曝光时间很短,我们一般认为被拍摄物体与摄像机之间的这种运动是匀速直线的,对于那些复杂的相对运动,我们也可以分解为成单个方向的匀速直线运动.基于以上先验知识,我们建立运动模糊图像退化模型[4].
假设现有一幅平面图像f(x,y),它在水平x方向和垂直y方向的运动分量为x0(x,y)和y0(x,y)[5],图像采集时间为T,g(x,y)表示运动模糊产生的退化图像,匀速直线运动模糊的退化模型可以用下式表示:
对式(3)进行傅里叶变换并做整理得:
由式(2)、(4)可知,在无噪声的情况下任意方向匀速直线运动模糊图像退化模型的传递函数[6]为
-
图像去噪后,实现图像复原的第一步就是确定PSF参数,对于运动模糊图像复原来说,运动模糊尺度d及模糊角度θ是最重要的参数.
-
我们在知道运动模糊尺度d以及模糊角度θ的情况下,对于匀速直线运动模糊,其PSF为
确定了点扩散函数h(x,y),根据(1)(2)可以得到原始图像的近似图像[7].
-
模糊参数未知的情况下,可以采用估计的方法确定PSF,常见的估计方法有图像观察估计法,模型估计法,实验估计法以及倒频谱特征估计法,本文着重介绍利用倒频谱特征来获得运动模糊参数的方法.
对于一幅图像g(x,y),它的倒频谱定义如式(7).公式中G(u,v)是g(x,y)的傅里叶变换的幅度谱,F-1是进行傅里叶逆变换. g(x,y)的倒频谱通常采用式(8)来表示.
利用倒频谱估计运动模糊点扩散函数参数的步骤:
1) 对运动模糊图像g(x,y)进行二维傅里叶变换得到G(u,v);
2) 对G(u,v)取模得到幅度谱|G(u,v)|,对|G(u,v)|取对数[8]得到式(9);
3) 对
$ \mathop G\limits^ \wedge (u, v) $ 进行傅里叶逆变换,得到模糊图像g(x,y)的倒频谱$ \mathop g\limits^ \wedge (x, y) $ ;4) 将
$ \mathop g\limits^ \wedge (x, y) $ 分成尺寸大小相等的四部分,按照图 2所示的方式进行交换,使倒频谱的原点从左上角移到中心点位置.5) 根据倒频谱的对称特性,得到
$ \mathop g\limits^ \wedge (x, y) $ 的最小位置(x0,y0),根据式(10)和式(11)可以得到模糊长度和角度:其中int表示向下取整函数.
获得了模糊尺度d以及模糊角度θ后,就可以得到点扩散函数了.
-
选用如图 3(a)所示汽车图像作为原始图像,模糊角度为40度,模糊尺度为45像素,模糊图像如图 3(b)所示.
在模糊参数已知即知道模糊图像模糊角度及尺度的情况下,其PSF为
在模糊参数未知的情况下,运用倒频谱估计法确定PSF.模糊图像图 3(b)的傅里叶变换如图 3(c)所示,倒频谱图如图 3(d)所示.根据倒频谱图找出它的最小位置,利用公式(10)(11)就可以求出模糊参数,进而得到PSF.求得图 3(b)的模糊角度为42度,模糊尺度为44像素,与原模糊参数设定很接近.为了更好地验证倒频谱估计法确定PSF的有效性,对图 3(a)设定一系列的模糊参数,对比采用倒频谱法估计的模糊参数与原设定参数,结果如表 1所示.
通过表 1可以看出,倒频谱法估计的PSF精度很高,特别是对于模糊角度及尺度都适中的情况,几乎能达到零误差的效果.
2.1. 模糊参数已知的情况
2.2. 模糊参数未知的情况
2.3. 实例说明PSF的确定方法
-
建好运动模糊图像模型后,就可以采用复原算法对图像复原,复原算法一般分为非盲复原算法以及盲复原算法.
-
逆滤波复原法也称为反向滤波,它是根据模糊图像的傅里叶变换去计算原图的傅里叶变换估计.根据式(2)可得原始图像的傅里叶变换估计:
其中1/H(u,v)称为逆滤波器,该方法存在一个病态问题就是当H(u,v)=0或者为小数值时,噪声会被放大无数倍,图像信息被覆盖[9].
H(u,v)会随着u、v与原点距离的增加而很快地减小,但噪声N(u,v)随着该距离的增加变化缓慢[6].通常情况下逆滤波不一定正好是1/H(u,v),它是u、v的某个函数(映射),记为W(u,v),这时候H(u,v)就变成了恢复转移函数.一般情况下,我们常用的W(u,v)为如下形式:
w0取排除H(u,v)=0的点范围,但是W(u,v)这种取法在复原效果图中会看到清晰的振铃效应,因此W(u,v)的取法需要改进.一般改进的W(u,v)为
其中,d,k取不大于1的常数,d选的数值越小越好.很明显,逆滤波复原算法对于无噪声的图像复原效果最好,即使对于有噪声的图像,对信噪比高的运动模糊图像也有较好的效果.另外由于该算法的运算速度比较快,因此比较适合尺寸较大的二维图像.
-
维纳滤波也叫最小均方误差滤波,它的基本思想是:假定输入是平稳随机信号,原始图像f(x,y)与噪声n(x,y)不相关,以复原图像与原图像的均方差最小为原则,用数学表达式表示则为:
假设噪声n(x,y)的均值为0,则复原图像的频域表达式为
其中Pn(u,v)和Pf(u,v)分别表示噪声n(x,y)和信号f(x,y)的功率谱,Pn(u,v)/Pf(u,v)为噪信功率比.在无噪声的情况下,维纳滤波算法就变成了逆滤波算法.噪声越大,维纳滤波算法对噪声的抑制作用就会越强,反之亦然.一般情况下,Pn(u,v)和Pf(u,v)都是未知的,所以在实际应用中,我们通常将式(16)简化为
K是一个与图像噪声大小有关的常数,K值较大时,维纳滤波算法对噪声的抑制作用较好,但是存在失真问题.当K值较小时,该算法对噪声的抑制作用不明显,但是图像的失真度小[10].
维纳滤波算法克服了逆滤波算法的病态问题,但是该算法本身也有局限性,一是它只适应于随机平稳的信号;二是对于空间可变的模糊图像不起作用;三是对常数K的选取要求很高.
-
最小二乘算法总体上可以分为两类,一类是有约束条件的最小二乘法,另一类是无约束条件的最小二乘法,本文主要介绍有约束条件的最小二乘法[5].
退化过程可以用g=Hf+n表示,移项得g-Hf=n,对等式两边取二范数:
这就是有约束条件的最小二乘法的约束条件,式(18)就等价于估计
$ \mathop f\limits^ \wedge $ 使式(19)有最小值:式(19)是运用拉格朗日数乘法得到的,其中Q是对
$ \mathop f\limits^ \wedge $ 做线性操作得到的矩阵,Q一般取拉普拉斯算子,τ是拉格朗日乘子,为了使$ \mathop f\limits^ \wedge $ 达到最小值,对W($ \mathop f\limits^ \wedge $ )求导并令其为0得:其中γ=1/τ,这就是有约束条件的最小二乘法.式(20)是空间域中复原图像表达式,那么在频域中,复原表达式为
其中γ是可调参数,Sn(u,v)/Sf(u,v)为噪信功率比.在运用有约束的最小二乘复原算法时,需要知道噪声的均值和方差值,这是该算法的一大缺点.但是该算法的优点是对噪声的放大有自动抑制作用[6],同时也增强了低频段较高频率部分,能够看到更多的细节,增强图像复原的效果.
-
仿真软件采用matlabR2014b,用经典的Lena图像作为原始图像,模糊角度和尺度分别为45 ℃和15 pixel.噪声均值为0,方差为0.001的高斯白噪声,各非盲复原算法效果图如图 4所示.
对比复原效果图,逆滤波算法有把噪声放大的现象,这是该算法的病态问题导致的.最小二乘算法的效果要比逆滤波算法好一些,噪声不是那么明显,相比而言,维纳滤波算法复原效果最好.
-
从总体上讲,基于神经网络的图像复原算法可以分为两类,一类是用大量的原始清晰图像和模糊图像作为训练集在神经网络模型中进行训练,训练得到映射关系,然后利用这种关系进行图像复原,这一类大多是以BP神经网络为基础,然后融入恰当的算法.另一类是运用Hopfield网络模型,把图像复原问题变成利用Hopfield网络求能量函数最优解的问题.
李扬等提出了一种基于布谷鸟搜索的BP神经网络图像复原算法,运用布谷鸟算法为BP神经网络找到最优的初始权值和阈值,有效地解决了BP神经网络易陷入局部极小值和对网络初始状态敏感的问题[11],具体流程如图 5所示.兰妙萍等提出用卷积神经网络与BP神经网络组合混合神经网络用于图像复原[12],通过训练卷积神经网络初始地建立真实图像与模糊图像之间的非线性映射关系,再利用训练好的卷积神经网络模型来提取特征向量,以此向量作为BP神经网络的输入,最后利用训练好的BP神经网络进行图像复原.龚雪友等提出了一种基于卷积神经网络的图像复原算法Match-Map[13],该方法克服了传统复原算法在预测点扩散函数时过于依赖边缘的问题,通过训练两个结构一样的Pre-Net和Iter-Net,实现对模糊图像进行特征分解和重构清晰图像的目标.
-
超分辨率复原是一种由一组低分辨率的图像经过配准和重构,得到一幅高分辨率图像的技术.图像分辨率是评价图像质量的重要参数,分辨率越高,图像中包含的细节信息和场景信息越多,反之亦然.
李文彪等提出一种用最大后验概率法进行超分辨率重建的方法[14],具体流程如图 6所示.该方法对低分辨率图像的作用效果非常明显,具有配准精度高,抗干扰能力强的特点.朱耀麟等对低分辨率图像建立了退化模型,通过自适应选取正则化参数,动态调整重建误差拟合项,实现了超分辨率图像的重建目的[15].胡长胜等提出了一种基于深度特征学习的图像超分辨率重建算法,该方法是对基于卷积神经网络的超分辨率算法的改进[16]. Faramarzi等对被估计的高分辨率图像采用边缘平滑增强的预处理,使用交替最小化算法来优化成本函数,在频域中进行模糊核估计,获得了非常好的效果[17].
-
最大熵算法以降质模型为基础,附加图像灰度和为常数这一约束条件,使复原图像的熵Hf与噪声图像的熵Hn的和达到最大值[18].
式(22),(23)是复原图像和噪声图像各自熵的表达式,其中D为偏置常数.
具体做法是:把数字图像f(x,y)所在平面平均分割为A*B个方格,每个方格有且仅有一个像素,把该像素的灰度级想象成落入该方格中的具有光能量的粒子个数,根据这样定义的能量关系求出使图像熵值最大的图像,进而得到复原图像.
Frieden最早把最大熵法运用到图像复原中,但是他提出的算法的计算量不仅大,而且算法的收敛性难以保证[19].后来S. F. Burch等人提出的最大熵复原方法可以恢复不全面的图像,但该方法计算速度慢,难以达到实际应用的要求.由N.L.Bonavito等提出的最大熵复原方法解决了Burch等人算法计算速度慢的缺点,但是该算法未考虑噪声对图像的污染,将噪声和图像一并处理,这样就产生在噪声很大的情况下,噪声也被放大的问题,导致复原效果不好. Zhuang X.等人提出了一种将图像的最大熵复原问题转化为求解微分方程问题的方法,该方法充分考虑了图像中可能存在的噪声而且使不同像素具有不同的噪声方差,这样在复原图像的同时还能有效地对噪声进行抑制,计算速度也满足要求,所以该算法应用比较广泛[20].
3.1. 图像非盲复原算法
3.1.1. 逆滤波复原算法
3.1.2. 维纳滤波法
3.1.3. 最小二乘复原算法
3.1.4. 非盲复原算法对比
3.2. 图像的盲复原算法
3.2.1. 神经网络图像复原算法
3.2.2. 图像超分辨率复原算法
3.2.3. 最大熵复原算法
-
仍以图 3(a)作为原始图像,重点观察汽车的车牌.用模糊角度为40度、尺度为45像素的点扩散函数与原始图像作卷积,然后加入均值为0和方差为0.001的高斯噪声来获得模糊图像.应用文中各复原算法对其进行复原,其中神经网络复原方法采用参考文献[11]的算法,超分辨率算法采用文献[14]的算法,最大熵复原算法采用文献[19]的算法,复原结果如图 7所示.
对复原图像采用均方误差(MSE)、峰值信噪比(PSNR)等指标作出评价与比较[21],根据这些指标对各算法进行归类并总结其适用范围,表 2列出评价结果.
均方误差和峰值信噪比的公式如式(24)、(25)所示,其中f(i,j)和
$ \mathop f\limits^ \wedge $ (i,j)表示归一化后原图像与复原图像的像素值,M和N表示图像的尺寸.对于图像复原问题来讲,MSE值越小越好,PSNR值越大越好.从仿真效果图和复原评价表来看:逆滤波和最大熵复原效果较差,均方误差很大而且峰值信噪比较小.逆滤波复原效果图中出现了很严重的振铃现象,如何克服该算法在复原过程中出现的把噪声无限放大这一病态问题成为今后研究的方向.最大熵复原也出现了噪声被放大的现象,该算法今后研究方向应放在改进多尺度最大熵算法以及克服该算法在复原过程中出现的噪声放大现象的角度上.
最小二乘法和超分辨率复原的效果一般,效果图有一定的模糊,可能模糊角度和长度参数的设置不能满足这两种算法的要求.对于最小二乘法,开发不受参数限制的自适应算法是个很好的方向,而超分辨率图像复原能用于视频复原,提高配准与匹配的正确性至关重要.
神经网络复原和维纳滤波复原效果较好,神经网络复原算法是近些年提出的新兴算法,复原效果不错,但是神经网络复原方法耗时多且要求样本数很大,如何能提高该方法的效率以及克服对样本数的要求限制成为今后研究的重点.维纳滤波复原方法不能用于空间可变的模糊图像而且要求信号是随机平稳的,这是该算法最大的缺点.改进该算法不受空间条件的限制以及减弱该算法对噪声的敏感是可以把握的方向.
通过对各常用图像复原算法的分析与对比,提高了图像复原中算法选择的针对性,对今后的图像复原应用技术的发展有指导意义.
-
运动模糊图像复原问题一直是图像技术领域中的热点,本文以运动模糊图像退化模型为基础,分析了在模糊参数已知和未知两种情况下运动模糊图像PSF的确定方法,实例说明了PSF在这两种情况下的确定方法并设定一系列的模糊参数加以仿真对比,总结其误差范围和规律,进一步验证了方法的有效性.全文重点介绍了逆滤波、维纳滤波和最小二乘法等非盲复原算法及神经网络、图像超分辨率和最大熵等盲复原算法,各个算法各有优缺点,对各算法进行了仿真实验并加以讨论,可以根据实际需要的复原效果选择复原算法,未来的工作将围绕进一步提高图像复原效果和改进复原算法的时效性及可行性方面展开.值得一提的是,神经网络复原算法是新兴算法,具有广阔的研究前景,也是未来图像技术研究的一个重要方向,值得我们去学习和研究.