留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

基于梯度变换与最优似然法则的图像修复算法

上一篇

下一篇

黄金国, 周先春. 基于梯度变换与最优似然法则的图像修复算法[J]. 西南大学学报(自然科学版), 2018, 40(2): 125-133. doi: 10.13718/j.cnki.xdzk.2018.02.018
引用本文: 黄金国, 周先春. 基于梯度变换与最优似然法则的图像修复算法[J]. 西南大学学报(自然科学版), 2018, 40(2): 125-133. doi: 10.13718/j.cnki.xdzk.2018.02.018
Jin-guo HUANG, Xian-chun ZHOU. An Image Inpainting Method Based on Gradient Transformation Coupled with Optimal Likelihood Rule[J]. Journal of Southwest University Natural Science Edition, 2018, 40(2): 125-133. doi: 10.13718/j.cnki.xdzk.2018.02.018
Citation: Jin-guo HUANG, Xian-chun ZHOU. An Image Inpainting Method Based on Gradient Transformation Coupled with Optimal Likelihood Rule[J]. Journal of Southwest University Natural Science Edition, 2018, 40(2): 125-133. doi: 10.13718/j.cnki.xdzk.2018.02.018

基于梯度变换与最优似然法则的图像修复算法

  • 基金项目: 国家自然科学基金项目(61201444,11202106);江苏省高校自然科学研究项目(15KJD520003)
详细信息
    作者简介:

    黄金国(1976-),男,江苏泰兴人,副教授,主要从事图像处理、网络信息安全、多媒体技术等方面的研究 .

  • 中图分类号: TP391

An Image Inpainting Method Based on Gradient Transformation Coupled with Optimal Likelihood Rule

图( 6) 表( 1)
计量
  • 文章访问数:  914
  • HTML全文浏览数:  413
  • PDF下载数:  22
  • 施引文献:  0
出版历程
  • 收稿日期:  2017-06-01
  • 刊出日期:  2018-02-20

基于梯度变换与最优似然法则的图像修复算法

    作者简介: 黄金国(1976-),男,江苏泰兴人,副教授,主要从事图像处理、网络信息安全、多媒体技术等方面的研究
  • 1. 江苏开放大学 信息与机电工程学院,南京 210017
  • 2. 南京信息工程大学 电子与信息工程学院,南京 210041
基金项目:  国家自然科学基金项目(61201444,11202106);江苏省高校自然科学研究项目(15KJD520003)

摘要: 为了解决当前图像修复算法在待修复图像纹理结构较为丰富时易产生模糊效应以及块效应的问题,提出了一种基于梯度变换与最优似然法则的图像修复算法.首先,利用像素点对应的邻域方向特征来构造置信度,用以形成优先权因子.通过优先权因子对待修补块的优先级进行度量,从而确定最优修补块;然后,根据像素点的梯度变换,构造修补块尺寸选择模型,对修补块的尺寸进行自适应调整;最后,利用修补块与匹配块的内积关系、距离关系,分别构造余弦度量模型、相似度量模型,从而建立最优似然法则,从源区域中搜索最优匹配块,对待修复块进行填充修复.实验结果显示,与其他图像修复算法相比,本文算法具备更高的修复质量,能有效克服阶梯效应以及模糊效应.

English Abstract

  • 随着信息技术的不断发展以及媒体传播方式的不断优化,数字图像作为信息传输的媒介已被人们普遍接受[1].由于数字图像具有较好的直观表达能力,被广泛应用于新闻媒体、航空航天、遥感探测等领域.人们可以通过对数字图像进行分析来获取感兴趣的信息.但由于拍摄环境、传输技术等因素的影响,有时会造成数字图像的损坏,从而影响数字图像的后续处理[2-3].因此,为了能够对损坏图像进行复原,获取其完整的图像信息,近年来,诸多学者对图像修复算法进行了研究.如李爱菊等人[4]提出了一种基于改进Criminisi算法的图像修复方法,该算法能够修复破损图像,但是其最优匹配块搜索策略还不够完善,导致修复后的图像存在块效应;金炜等人[5]针对卫星云图的云图数据破损,提出了一种联合块匹配与稀疏表示的卫星云图修复方法,该方法能对卫星云图进行修复,而且还能克服修复图像过程中出现的块效应,但是该方法中的块匹配计算过程复杂度较高,并且修复图像存在模糊效应与视觉间断的问题;祝轩等人[6]提出了一种基于稀疏分解的图像修复方法,该方法具有良好的修复视觉效果,但是却无法确保修复块的修复顺序,导致复原结果不理想.

    对此,本文提出了一种基于梯度变换与最优似然法则的图像修复方法.利用像素点对应的邻域方向特征来构造置信度,改进传统的优先权因子,用于判定优先修补块;并根据像素点的梯度变换,建立修补块尺寸选择模型,自适应调整待修补块的尺寸;通过待修补块与匹配块之间的内积关系以及距离关系,建立最优似然法则,完成图像修复;最后,测试所提修复算法的图像复原质量.

  • 基于梯度变换耦合最优似然法则的图像修复算法过程见图 1.该算法通过构造的置信度获取优先权因子,从待修补块集合中获取优先修补块,确定各修补块之间的修补顺序;接着利用尺寸选择模型对优先修补块的尺寸进行调整;然后,再利用余弦度量模型以及相似度量模型来设计最优似然法则,从源区域中搜索最优匹配块,完成图像的修复.

  • 在一幅图像I中,用Ω表示破损区域,用θ表示源区域.源区域与破损区域的边界线用∂Ω表示,根据Criminisi算法[7],对于边界线∂Ω上任意一个以像素点k为中心的待修补块f(k),其对应的优先权因子可以表述为

    D(k)为数据项,反应了f(k)邻域的结构特征[8]

    其中,nk是单位法线向量,$\nabla I_k^ \bot $k点的等照度线方向,α为归一化因子[9].

    C(k)为置信度,反应了f(k)中已知像素所占的比重,

    其中,|f(k)|表示待修补块f(k)的面积大小.

    $\nabla I_k^ \bot $nk为垂直关系时,D(k)为0,根据式(1)可知,此时的P(k)为0,待修补块将不会得到填充修复,从而导致修复图像质量下降,而且在修复算法的反复迭代过程中,置信度C(k)也会降为0,从而难以确保修补块之间的修复顺序[10].因此,需要改进优先权因子,提高修复质量.根据Criminisi算法可知,待修复块的优先级对整个图像的复原质量影响最大,特别是信息结构较强(对应的D(k)值较大)的图像.如果优先修复D(k)值较大的图像块,就可以明确修复的方向,提高图像的复原质量.因此,为了防止D(k)为0,确保D(k)值的子块修复优先级,在式(1)的基础上增加D(k)的比重来改进优先权因子:

    其中,w>0为权重系数.

    通过多次修复实验,当系数w=7时,可获得理想的修复质量.根据式(4)可知,即使出现了$\nabla I_k^ \bot $nk正交的情况,优先权因子P(k)仍不为0.

    同时,为了防止C(k)在反复迭代过程中为0,本文约束其按照边缘变化最强的方向进行修复,利用待修复像素点k的邻域方向特征来改进置信度,其表述如下:

    其中,‖f(k)‖表示f(k)中的像素总和,NU表示k邻域内多个方向上的有效像素点总和,其示意图如图 2所示.

    综合式(4)和式(5),可得最终改进的优先权因子为

    再利用式(6)对以边界线∂Ω上的像素点为中心的待修补块进行计算,选取P(k)最大值对应的待修补块作为优先修补块.

  • 通过式(6)选取的优先修补块尺寸都为固定值,其尺寸一般为9×9像素.在图像修复过程中,对于纹理结构较为丰富的区域,如果采用过大的修补块尺寸,将会导致边界修复错误[11].而在平滑的区域,如果采用过小的修补块尺寸,将会出现块效应[12].因此,为了克服修复图像出现块效应等不足,提高修复图像的质量,需要对待修补块的尺寸进行调整.

    由于图像区域信息量可以通过梯度变换∇I(k)来反映,因此,本文利用像素点梯度变换来构造尺寸选择模型,对待修补块的尺寸进行调整[13].对于像素点k,当其梯度变换为∇I(k)时,其尺寸选择模型为[14]

    其中,round(·)表示四舍五入取整函数.根据像素点对应的梯度变换即可对待修复块的尺寸进行自适应调整,从而确定合适大小的待修补块.

  • 确定了待修补块的尺寸后,从源区域中搜索出最优匹配块,对待修补块进行填充修复.本文采用修补块f(k)与匹配块h(j)的内积关系来构造余弦度量模型,再利用二者的距离关系来构造相似度量模型.通过余弦度量模型以及相似度量模型来建立最优似然法则,完成最优匹配块的搜索.

    B为包含了待修补块f(k)全部信息的矩阵,C为包含了匹配块h(j)全部信息的矩阵[15].此时,待修补块与匹配块的内积关系可表述为[16-17]

    其中,Tr()代表了矩阵中主对角线上的元素之和.

    再利用修补块与匹配块的内积关系来构造余弦度量模型,则

    其中,‖·‖代表范数.

    修补块f(k)与匹配块h(j)高斯加权距离的平方为‖f(k)-h(j)‖2,a2,通过f(k)与h(j)的这种距离关系,本文构造了相似度量模型:

    其中,g为权重因子;DS为源区域中像素点对应的归一化因子,

    通过(9)式可知,当S的值越趋于1时,表示修补块f(k)与匹配块h(j)的相似度最高,而越趋于-1时表示相似度最低[18].由(10)式可知,当Sr(Sr∈[0, 1])的值越大时,表示修补块f(k)与匹配块h(j)具有更高的灰度相似性[19].

    对此,本文利用余弦度量模型以及相似度量模型建立最优似然法则,从源区域中搜索最优匹配块.将余弦度量模型作为粗匹配条件,从源区域选取候选最优匹配块,再利用相似度量模型作为精匹配条件,选取最优匹配块.最优似然法则定义如下:

    对于待修补块f(k)与源区域中的任意匹配块h(j),将它们通过(9)式进行余弦度量,若f(k)与h(j)的余弦度量值S大于预定阀值Tc,则将h(j)视为候选最优匹配块.接着再将f(k)与h(j)通过(10)式进行相似度量,若相似度量值大于预定阀值Te,则判定h(j)为f(k)对应的最优匹配块,可利用h(j)对f(k)进行填充修复.

  • 为了体现所提算法的先进性,将文献[20]和文献[21]作为对照组.其中,文献[20]是利用TV模型与演化算法来实现破损区域的复原,TV模型是图像修复领域中最常用的方法之一,得到了诸多学者的认可,而且此文献对TV模型进行了改进,进一步提升了修复质量.文献[21]则是通过设计新的结构张量,将其引入到待修复子块的优先权中,通过搜索最优匹配块来提高修复质量,结构张量在当前图像修复领域中应用较为广泛,该技术能够重点捕获人眼感知敏感的内容,获取丰富的局部信息.实验测试环境为IntelCore i3,2.2 GHz处理器,4 GB内存,操作系统为Windows 7,仿真工具为MATLAB 7.10.

  • 图 3图 4为不同算法对文字破损图像、划痕破损图像的修复效果.从图 3可知,对于文字破损图像,3种算法都具有良好的修复质量.但是通过对比可知,文献[20]的修复图像中存在一定的修复残留效应,文献[21]的修复图像中存在块效应,而本文算法的修复质量更好,其复原图像中不存在此类效应.从图 4可知,对于划痕破损图像的修复,3种算法同样具有可接受的修复质量.但是进一步放大修复区域发现,文献[20]中算法修复区域放大图中存在一定的残留效应以及模糊效应,文献[21]中算法修复区域放大图中存在一定的阶梯效应以及不连续效应,分别见图 4(d)图 4(f);而本文算法具备更高的修复质量,无间断效应与块效应,见图 4(h).这些测试结果说明本文算法在对破损图像进行修复时,不仅能够完整地修复破损区域,而且还能较好地抑制不连续效应以及阶梯效应等缺陷,使得修复图像具有更好的视觉效果.

  • 结构相似性(SSIM,structural similarity index)是客观评估修复图像质量的常用指标,结构相似性越高,则表明修复的图像质量越好[22].以图 5为目标,对其设置不同程度的破损后,利用本文算法以及对照组算法对图像进行修复,并且计算每种算法对应的修复前后图像之间的相似度,结果见图 6.由图 6可知,本文算法具有更高的结构相似性,说明本文算法修复的图像具有更高的质量.原因是本文首先对优先修补块进行选择,确保了修复过程的合理进行,提高了修复图像的质量.同时,本文还利用尺寸选择模型对待修补块的尺寸进行合理的调整,避免了修复图像出现块效应以及不连续效应,通过最优似然法则来获取最优匹配块,确保了修复的正确性.

  • 依据本文图像修复算法的描述可知,其复杂度主要包含3部分:优先权的计算、修复子块尺寸的调整,以及基于最优似然法则的最优匹配块搜索.其中,优先权的计算的复杂度为O(t×a),t为待修复块的数量,a为每个子块∂Ω边界线上像素点的数量.修复子块尺寸调整的复杂度为O(t×mn),其中,mn为每个修复块的尺寸;最优匹配块搜索的复杂度为O(t×mn).因此,本文所提出的图像修复技术总的复杂度为O(2t×mn+t×a).文献[20]利用TV模型来修复图像的复杂度为O(M×N),其中,M×N为破损图像区域的尺寸;文献[21]与所提算法有点类似,其复杂度主要来源于优先权计算与最优匹配块搜索,故其复杂度为O(t×a+t×mn).可见,在相同的破损区域情况下,有t×mn=M×N,因此,所提图像修复算法的复杂度要高于文献[20]、文献[21].

    图 3(b)为样本,利用这3种算法对其进行修复,记录三者的耗时,结果见表 1.由表可知,本文算法的修复效率要低于文献[20]、文献[21],其中,文献[20]的修复速度最快,仅为7.26 s,而本文算法的时耗为10.72 s.这与前面的理论分析相吻合.

    虽然所提算法的修复效率要低于文献[20]、文献[21],但是三者相差不大,且其修复质量要远高于文献[20]、文献[21],尤其是在大面积损伤的情况下,优势更加明显.因此,从兼顾修复质量与效率等方面来综合考虑,所提算法要优于文献[20]、文献[21].

  • 通过利用像素点的梯度变换,本文提出了一种基于梯度变换耦合最优似然法则的图像修复算法.为了确保合理的修复顺序,利用像素点对应的邻域特征构造了置信度,从而形成了优先权因子,以选取优先修补块.随后,利用像素点的梯度变换建立尺寸选择模型,对待修补块的尺寸进行调整,克服了修复过程中产生的不连续效应以及块效应.同时,利用余弦度量模型以及相似度量模型建立最优似然法则,通过余弦度量模型进行粗匹配,再利用相似度量模型对粗匹配结果进行提纯,选取了最优匹配块.再利用最优匹配块对待修补块进行填充修复,实现了图像的修复.最后通过实验证明了本文所提算法的有效性.

参考文献 (22)

目录

/

返回文章
返回