-
随着信息技术的不断发展以及媒体传播方式的不断优化,数字图像作为信息传输的媒介已被人们普遍接受[1].由于数字图像具有较好的直观表达能力,被广泛应用于新闻媒体、航空航天、遥感探测等领域.人们可以通过对数字图像进行分析来获取感兴趣的信息.但由于拍摄环境、传输技术等因素的影响,有时会造成数字图像的损坏,从而影响数字图像的后续处理[2-3].因此,为了能够对损坏图像进行复原,获取其完整的图像信息,近年来,诸多学者对图像修复算法进行了研究.如李爱菊等人[4]提出了一种基于改进Criminisi算法的图像修复方法,该算法能够修复破损图像,但是其最优匹配块搜索策略还不够完善,导致修复后的图像存在块效应;金炜等人[5]针对卫星云图的云图数据破损,提出了一种联合块匹配与稀疏表示的卫星云图修复方法,该方法能对卫星云图进行修复,而且还能克服修复图像过程中出现的块效应,但是该方法中的块匹配计算过程复杂度较高,并且修复图像存在模糊效应与视觉间断的问题;祝轩等人[6]提出了一种基于稀疏分解的图像修复方法,该方法具有良好的修复视觉效果,但是却无法确保修复块的修复顺序,导致复原结果不理想.
对此,本文提出了一种基于梯度变换与最优似然法则的图像修复方法.利用像素点对应的邻域方向特征来构造置信度,改进传统的优先权因子,用于判定优先修补块;并根据像素点的梯度变换,建立修补块尺寸选择模型,自适应调整待修补块的尺寸;通过待修补块与匹配块之间的内积关系以及距离关系,建立最优似然法则,完成图像修复;最后,测试所提修复算法的图像复原质量.
全文HTML
-
基于梯度变换耦合最优似然法则的图像修复算法过程见图 1.该算法通过构造的置信度获取优先权因子,从待修补块集合中获取优先修补块,确定各修补块之间的修补顺序;接着利用尺寸选择模型对优先修补块的尺寸进行调整;然后,再利用余弦度量模型以及相似度量模型来设计最优似然法则,从源区域中搜索最优匹配块,完成图像的修复.
-
在一幅图像I中,用Ω表示破损区域,用θ表示源区域.源区域与破损区域的边界线用∂Ω表示,根据Criminisi算法[7],对于边界线∂Ω上任意一个以像素点k为中心的待修补块f(k),其对应的优先权因子可以表述为
D(k)为数据项,反应了f(k)邻域的结构特征[8],
其中,nk是单位法线向量,
$\nabla I_k^ \bot $ 是k点的等照度线方向,α为归一化因子[9].C(k)为置信度,反应了f(k)中已知像素所占的比重,
其中,|f(k)|表示待修补块f(k)的面积大小.
当
$\nabla I_k^ \bot $ 与nk为垂直关系时,D(k)为0,根据式(1)可知,此时的P(k)为0,待修补块将不会得到填充修复,从而导致修复图像质量下降,而且在修复算法的反复迭代过程中,置信度C(k)也会降为0,从而难以确保修补块之间的修复顺序[10].因此,需要改进优先权因子,提高修复质量.根据Criminisi算法可知,待修复块的优先级对整个图像的复原质量影响最大,特别是信息结构较强(对应的D(k)值较大)的图像.如果优先修复D(k)值较大的图像块,就可以明确修复的方向,提高图像的复原质量.因此,为了防止D(k)为0,确保D(k)值的子块修复优先级,在式(1)的基础上增加D(k)的比重来改进优先权因子:其中,w>0为权重系数.
通过多次修复实验,当系数w=7时,可获得理想的修复质量.根据式(4)可知,即使出现了
$\nabla I_k^ \bot $ 与nk正交的情况,优先权因子P(k)仍不为0.同时,为了防止C(k)在反复迭代过程中为0,本文约束其按照边缘变化最强的方向进行修复,利用待修复像素点k的邻域方向特征来改进置信度,其表述如下:
其中,‖f(k)‖表示f(k)中的像素总和,NU表示k邻域内多个方向上的有效像素点总和,其示意图如图 2所示.
综合式(4)和式(5),可得最终改进的优先权因子为
再利用式(6)对以边界线∂Ω上的像素点为中心的待修补块进行计算,选取P(k)最大值对应的待修补块作为优先修补块.
-
通过式(6)选取的优先修补块尺寸都为固定值,其尺寸一般为9×9像素.在图像修复过程中,对于纹理结构较为丰富的区域,如果采用过大的修补块尺寸,将会导致边界修复错误[11].而在平滑的区域,如果采用过小的修补块尺寸,将会出现块效应[12].因此,为了克服修复图像出现块效应等不足,提高修复图像的质量,需要对待修补块的尺寸进行调整.
由于图像区域信息量可以通过梯度变换∇I(k)来反映,因此,本文利用像素点梯度变换来构造尺寸选择模型,对待修补块的尺寸进行调整[13].对于像素点k,当其梯度变换为∇I(k)时,其尺寸选择模型为[14]
其中,round(·)表示四舍五入取整函数.根据像素点对应的梯度变换即可对待修复块的尺寸进行自适应调整,从而确定合适大小的待修补块.
-
确定了待修补块的尺寸后,从源区域中搜索出最优匹配块,对待修补块进行填充修复.本文采用修补块f(k)与匹配块h(j)的内积关系来构造余弦度量模型,再利用二者的距离关系来构造相似度量模型.通过余弦度量模型以及相似度量模型来建立最优似然法则,完成最优匹配块的搜索.
设B为包含了待修补块f(k)全部信息的矩阵,C为包含了匹配块h(j)全部信息的矩阵[15].此时,待修补块与匹配块的内积关系可表述为[16-17]
其中,Tr()代表了矩阵中主对角线上的元素之和.
再利用修补块与匹配块的内积关系来构造余弦度量模型,则
其中,‖·‖代表范数.
修补块f(k)与匹配块h(j)高斯加权距离的平方为‖f(k)-h(j)‖2,a2,通过f(k)与h(j)的这种距离关系,本文构造了相似度量模型:
其中,g为权重因子;DS为源区域中像素点对应的归一化因子,
通过(9)式可知,当S的值越趋于1时,表示修补块f(k)与匹配块h(j)的相似度最高,而越趋于-1时表示相似度最低[18].由(10)式可知,当Sr(Sr∈[0, 1])的值越大时,表示修补块f(k)与匹配块h(j)具有更高的灰度相似性[19].
对此,本文利用余弦度量模型以及相似度量模型建立最优似然法则,从源区域中搜索最优匹配块.将余弦度量模型作为粗匹配条件,从源区域选取候选最优匹配块,再利用相似度量模型作为精匹配条件,选取最优匹配块.最优似然法则定义如下:
对于待修补块f(k)与源区域中的任意匹配块h(j),将它们通过(9)式进行余弦度量,若f(k)与h(j)的余弦度量值S大于预定阀值Tc,则将h(j)视为候选最优匹配块.接着再将f(k)与h(j)通过(10)式进行相似度量,若相似度量值大于预定阀值Te,则判定h(j)为f(k)对应的最优匹配块,可利用h(j)对f(k)进行填充修复.
-
为了体现所提算法的先进性,将文献[20]和文献[21]作为对照组.其中,文献[20]是利用TV模型与演化算法来实现破损区域的复原,TV模型是图像修复领域中最常用的方法之一,得到了诸多学者的认可,而且此文献对TV模型进行了改进,进一步提升了修复质量.文献[21]则是通过设计新的结构张量,将其引入到待修复子块的优先权中,通过搜索最优匹配块来提高修复质量,结构张量在当前图像修复领域中应用较为广泛,该技术能够重点捕获人眼感知敏感的内容,获取丰富的局部信息.实验测试环境为IntelCore i3,2.2 GHz处理器,4 GB内存,操作系统为Windows 7,仿真工具为MATLAB 7.10.
-
图 3、图 4为不同算法对文字破损图像、划痕破损图像的修复效果.从图 3可知,对于文字破损图像,3种算法都具有良好的修复质量.但是通过对比可知,文献[20]的修复图像中存在一定的修复残留效应,文献[21]的修复图像中存在块效应,而本文算法的修复质量更好,其复原图像中不存在此类效应.从图 4可知,对于划痕破损图像的修复,3种算法同样具有可接受的修复质量.但是进一步放大修复区域发现,文献[20]中算法修复区域放大图中存在一定的残留效应以及模糊效应,文献[21]中算法修复区域放大图中存在一定的阶梯效应以及不连续效应,分别见图 4(d)、图 4(f);而本文算法具备更高的修复质量,无间断效应与块效应,见图 4(h).这些测试结果说明本文算法在对破损图像进行修复时,不仅能够完整地修复破损区域,而且还能较好地抑制不连续效应以及阶梯效应等缺陷,使得修复图像具有更好的视觉效果.
-
结构相似性(SSIM,structural similarity index)是客观评估修复图像质量的常用指标,结构相似性越高,则表明修复的图像质量越好[22].以图 5为目标,对其设置不同程度的破损后,利用本文算法以及对照组算法对图像进行修复,并且计算每种算法对应的修复前后图像之间的相似度,结果见图 6.由图 6可知,本文算法具有更高的结构相似性,说明本文算法修复的图像具有更高的质量.原因是本文首先对优先修补块进行选择,确保了修复过程的合理进行,提高了修复图像的质量.同时,本文还利用尺寸选择模型对待修补块的尺寸进行合理的调整,避免了修复图像出现块效应以及不连续效应,通过最优似然法则来获取最优匹配块,确保了修复的正确性.
-
依据本文图像修复算法的描述可知,其复杂度主要包含3部分:优先权的计算、修复子块尺寸的调整,以及基于最优似然法则的最优匹配块搜索.其中,优先权的计算的复杂度为O(t×a),t为待修复块的数量,a为每个子块∂Ω边界线上像素点的数量.修复子块尺寸调整的复杂度为O(t×mn),其中,mn为每个修复块的尺寸;最优匹配块搜索的复杂度为O(t×mn).因此,本文所提出的图像修复技术总的复杂度为O(2t×mn+t×a).文献[20]利用TV模型来修复图像的复杂度为O(M×N),其中,M×N为破损图像区域的尺寸;文献[21]与所提算法有点类似,其复杂度主要来源于优先权计算与最优匹配块搜索,故其复杂度为O(t×a+t×mn).可见,在相同的破损区域情况下,有t×mn=M×N,因此,所提图像修复算法的复杂度要高于文献[20]、文献[21].
以图 3(b)为样本,利用这3种算法对其进行修复,记录三者的耗时,结果见表 1.由表可知,本文算法的修复效率要低于文献[20]、文献[21],其中,文献[20]的修复速度最快,仅为7.26 s,而本文算法的时耗为10.72 s.这与前面的理论分析相吻合.
虽然所提算法的修复效率要低于文献[20]、文献[21],但是三者相差不大,且其修复质量要远高于文献[20]、文献[21],尤其是在大面积损伤的情况下,优势更加明显.因此,从兼顾修复质量与效率等方面来综合考虑,所提算法要优于文献[20]、文献[21].
5.1. 破损图像修复效果分析
5.2. 图像修复算法量化分析
5.3. 算法复杂度与修复效率分析
-
通过利用像素点的梯度变换,本文提出了一种基于梯度变换耦合最优似然法则的图像修复算法.为了确保合理的修复顺序,利用像素点对应的邻域特征构造了置信度,从而形成了优先权因子,以选取优先修补块.随后,利用像素点的梯度变换建立尺寸选择模型,对待修补块的尺寸进行调整,克服了修复过程中产生的不连续效应以及块效应.同时,利用余弦度量模型以及相似度量模型建立最优似然法则,通过余弦度量模型进行粗匹配,再利用相似度量模型对粗匹配结果进行提纯,选取了最优匹配块.再利用最优匹配块对待修补块进行填充修复,实现了图像的修复.最后通过实验证明了本文所提算法的有效性.