Search Advanced

Message Board

Dear readers, authors and reviewers,you can add a message on this page. We will reply to you as soon as possible!

2021 Volume 46 Issue 7
Article Contents
Previous Article Next Article

FU You, REN Fang. Noise Image Saliency Detection Method Based on MRDMD Model[J]. Journal of Southwest China Normal University(Natural Science Edition), 2021, 46(7): 120-124. doi: 10.13718/j.cnki.xsxb.2021.07.017
Citation: FU You, REN Fang. Noise Image Saliency Detection Method Based on MRDMD Model[J]. Journal of Southwest China Normal University(Natural Science Edition), 2021, 46(7): 120-124. doi: 10.13718/j.cnki.xsxb.2021.07.017
shu

Noise Image Saliency Detection Method Based on MRDMD Model

  • 1.

    Department of Computer Engineering, Shanxi Vocational University of Engineering and Technology, Jinzhong Shanxi 030600, China

  • 2.

    Shaanxi Normal University, College of Mathematics and Information Science, Xi'an 710061, China

More Information
  • Received Date: 02/07/2020
    Available Online: 20/07/2021

  • MSC: TP393

  • Aiming at the problem that the current saliency region detection methods are not accurate for noisy images, a saliency region detection method based on multi-resolution dynamic mode decomposition has been proposed. In this method, dynamic mode decomposition (DMD) with multi-resolution analysis (MRA) is combined to model multi-scale systems in time and space domains. Firstly, the input image is transformed into color space and edge detected, and then the sequential snapshot matrix is generated by means of the chrominance, luminance and edge information of the image. Finally, the sequence snapshot matrix is provided to MRDMD module for three levels of decomposition to obtain the saliency region mapping of the image. Experimental results show that the proposed method can detect salient regions with complete regions and clear boundaries in clean and noisy images, and its performance is significantly improved compared with other detection methods.
  • 加载中
  • [1] SINGH S K, SRIVASTAVA R. A Robust Salient Object Detection Using Edge Enhanced Global Topographical Saliency [J]. Multimedia Tools and Applications, 2020, 79(25/26): 17885-17902. doi: 10.1007/s11042-020-08644-9

    CrossRef Google Scholar

    [2] NOORI M, MOHAMMADI S, MAJELAN S G, et al. DFNet: Discriminative Feature Extraction and Integration Network for Salient Object Detection [J]. Engineering Applications of Artificial Intelligence, 2020, 89: 103419. doi: 10.1016/j.engappai.2019.103419

    CrossRef Google Scholar

    [3] Dong Shidong, Gao Zhifan, Sun Shanhui, et al. Holistic and Deep Feature Pyramids for Saliency Detection [C]// 201829th British Machine Vision Conference. Newcastle: BMVC, 2018.

    Google Scholar

    [4] ZHANG J, WANG M, ZHANG S P, et al. Spatiochromatic Context Modeling for Color Saliency Analysis [J]. IEEE Transactions on Neural Networks and Learning Systems, 2016, 27(6): 1177-1189. doi: 10.1109/TNNLS.2015.2464316

    CrossRef Google Scholar

    [5] GOFERMAN S, ZELNIK-MANOR L, TAL A. Context-Aware Saliency Detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(10): 1915-1926. doi: 10.1109/TPAMI.2011.272

    CrossRef Google Scholar

    [6] LIU Q, HONG X P, ZOU B J, et al. Hierarchical Contour Closure-Based Holistic Salient Object Detection [J]. IEEE Transactions on Image Processing, 2017, 26(9): 4537-4552. doi: 10.1109/TIP.2017.2703081

    CrossRef Google Scholar

    [7] JIANG P, LING H B, YU J Y, et al. Salient Region Detection by UFO: Uniqueness, Focusness and Objectness [C]//2013 IEEE International Conference on Computer Vision. Sydney: IEEE, 2013.

    Google Scholar

    [8] WEI Y C, WEN F, ZHU W J, et al. Geodesic Saliency Using Background Priors [M]//Computer Vision-ECCV 2012. Berlin: Springer Berlin Heidelberg, 2012.

    Google Scholar

    [9] CHANG K Y, LIU T L, CHEN H T, et al. Fusing Generic Objectness and Visual Saliency for Salient Object Detection [C]//2011 International Conference on Computer Vision. Barcelona: IEEE, 2011.

    Google Scholar

    [10] 郑重, 姚婷婷, 孙永宣, 等. 基于高层颜色语义名称的显著性检测[J]. 计算机应用研究, 2018, 35(7): 2197-2199, 2232. doi: 10.3969/j.issn.1001-3695.2018.07.067

    CrossRef Google Scholar

    [11] SUN X L, ZHANG X T, ZHANG X J, et al. Sparse Gradient Based Structured Matrix Decomposition for Salient Object Detection [J]. IEEE Access, 2018, 6: 29966-29978. doi: 10.1109/ACCESS.2018.2842070

    CrossRef Google Scholar

    [12] ANNUM R, RIAZ M M, GHAFOOR A. Saliency Detection Using Contrast Enhancement and Texture Smoothing Operations [J]. Signal, Image and Video Processing, 2018, 12(3): 505-511. doi: 10.1007/s11760-017-1186-4

    CrossRef Google Scholar

    [13] TU Z Z, MA Y, LI C L, et al. Edge-Guided Non-Local Fully Convolutional Network for Salient Object Detection [J]. IEEE Transactions on Circuits and Systems for Video Technology, 2021, 31(2): 582-593. doi: 10.1109/TCSVT.2020.2980853

    CrossRef Google Scholar

    [14] HAN L, LI X L, DONG Y S. Convolutional Edge Constraint-Based U-Net for Salient Object Detection [J]. IEEE Access, 2019, 7: 48890-48900. doi: 10.1109/ACCESS.2019.2910572

    CrossRef Google Scholar

    [15] SIKHA O K, SACHIN K S, SOMAN K P. Salient Region Detection and Object Segmentation in Color Images Using Dynamic Mode Decomposition [J]. Journal of Computational Science, 2018, 25: 351-366. doi: 10.1016/j.jocs.2017.07.007

    CrossRef Google Scholar

    [16] 段锁林, 殷聪聪, 李大伟. 改进的自适应Canny边缘检测算法[J]. 计算机工程与设计, 2018, 39(6): 1645-1652.

    Google Scholar

    [17] CONTRERAS-CRUZ M A, MARTINEZ-RODRIGUEZ D E, HERNANDEZ-BELMONTE U H, et al. A Genetic Programming Framework in the Automatic Design of Combination Models for Salient Object Detection [J]. Genetic Programming and Evolvable Machines, 2019, 20(3): 285-325. doi: 10.1007/s10710-019-09345-5

    CrossRef Google Scholar

    [18] SINGH N, ARYA R, AGRAWAL R K. Performance Enhancement of Salient Object Detection Using Superpixel Based Gaussian Mixture Model [J]. Multimedia Tools and Applications, 2018, 77(7): 8511-8529. doi: 10.1007/s11042-017-4748-0

    CrossRef Google Scholar

    [19] SINGH M, GOVIL M C, PILLI E S, et al. SOD-CED: Salient Object Detection for Noisy Images Using Convolution Encoder-Decoder [J]. IET Computer Vision, 2019, 13(6): 578-587. doi: 10.1049/iet-cvi.2018.5814

    CrossRef Google Scholar

    [20] SRIVASTAVA G, SRIVASTAVA R. Modification of Gradient Vector Flow Using Directional Contrast for Salient Object Detection [J]. IEEE MultiMedia, 2019, 26(4): 7-16. doi: 10.1109/MMUL.2019.2915078

    CrossRef Google Scholar

    [21] SINGH S K, SRIVASTAVA R. A Robust Salient Object Detection Using Edge Enhanced Global Topographical Saliency [J]. Multimedia Tools and Applications, 2020, 79(25/26): 17885-17902. doi: 10.1007/s11042-020-08644-9

    CrossRef Google Scholar

  • 加载中
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索
Export Citation
PDF
XML

Article Metrics

Article views(614) PDF downloads(115) Cited by(0)

Access History

Other Articles By Authors

Noise Image Saliency Detection Method Based on MRDMD Model

  • Received Date: 02/07/2020
  • Available Online: 20/07/2021

Abstract: Aiming at the problem that the current saliency region detection methods are not accurate for noisy images, a saliency region detection method based on multi-resolution dynamic mode decomposition has been proposed. In this method, dynamic mode decomposition (DMD) with multi-resolution analysis (MRA) is combined to model multi-scale systems in time and space domains. Firstly, the input image is transformed into color space and edge detected, and then the sequential snapshot matrix is generated by means of the chrominance, luminance and edge information of the image. Finally, the sequence snapshot matrix is provided to MRDMD module for three levels of decomposition to obtain the saliency region mapping of the image. Experimental results show that the proposed method can detect salient regions with complete regions and clear boundaries in clean and noisy images, and its performance is significantly improved compared with other detection methods.

    HTML

  • 计算机视觉中的显著性检测是确定图像最突出和最明显部分的过程[1]. 查找图像中的显著区域在计算机视觉中是至关重要的应用程序，因为它使系统可以使用较少的资源来处理相对较小但重要的区域[2]. 因此，显著目标检测在图像分割、分类、目标识别与检测、图像和视频压缩等图像处理领域中得到了广泛的应用[3].

    目前，在寻找图像显著区域方面已经进行了众多的研究. 大多数方法通过比较显著性物体与背景的差异来突出显著物体，主要依赖于颜色[4]、对比度[5]、轮廓[6]、目标度[7]、聚焦度[8]、背景以及唯一性[9]等，这些方法分别在像素、区域和图像级别提取显著性特征. 显著性检测模型分为两类：一类是自下而上的感知驱动模型，使用低级图像特征来自动定位显著区域，另一类是自上而下的语义驱动模型，根据一定的先验知识来判断所考虑图像的显著区域[10]. 本文主要关注自下而上的显著性模型. Sun等[11]提出一种基于稀疏梯度的结构矩阵分解显著目标检测模型，利用稀疏梯度正则化来扩大特征空间中显著区域和背景区域之间的距离，从而提高模型的性能. Annum等[12]提出一种基于对比度增强和纹理平滑的显著性框架用于处理具有纹理和低对比度背景的复杂图像. 近年来，基于机器学习的方法在显著性检测领域取得较好的效果. Tu等[13]提出一种基于边缘引导的非局部全卷积神经网络，该网络采用边缘引导特征学习的方式获得显著目标的清晰边缘结构，从而实现精确的显著目标检测. 为了解决显著图中存在背景信息杂乱、干扰噪声多、细节丢失等问题，Han等[14]将边缘卷积约束加入到一个修正的U-Net中，采用跳跃式的网络结构融合不同层次的特征，从而减少输出对象边缘模糊和信息丢失.

    尽管当前研究人员在显著区域检测方面取得了很大的进步，但是这些方法在计算显著性模型时所考虑的图像是干净的，并且没有视觉干扰，而在宽广的噪声强度范围内获得退化图像的高质量显著性图仍是当前面临的一项重大挑战. 为了解决这一问题，本文提出一种基于多分辨率动态模式分解(multi-resolution dynamic mode decomposition，MRDMD)的显著性区域检测方法，该方法首先将输入图像由RGB色彩空间转换至CIELAB，YCbCr和YUV色彩空间中，将每个颜色通道的图像以及边缘映射和高斯滤波图像堆叠在一起组成快照矩阵，然后MRDMD模型将生成的矩阵分解为多个级别并使用各个级别的信息来生成显著性图. 为了增强显著性图，该方法基于空间信息进行了一些后处理操作.

1.   动态模式分解

  • 动态模式分解(dynamic mode decomposition，DMD)[15]是流体力学界最初引入的一种新的工具，主要用于分析非线性系统的行为. DMD理论对数据进行模拟得到流场，提取其中的动态信息，根据不同频率的流场变动寻找数据映射，将高维数据分解为时空模式，该操作可以视为空间域中的主成分分析(principle component analysis，PCA)和频率域中傅立叶分析的组合. 给定在等间隔时间内收集的数据，DMD方法逼近低维模态，以估计底层系统的非线性动力学.

2.   基于MRDMD的显著区域检测

  • 基于MRDMD模型的显著区域检测将多分辨率技术与DMD集成在一起，从空间和时间两个角度分离多尺度的时空特征. 本文模型大致分为4个步骤：图像色彩空间转换和边缘检测、构造快照矩阵、MRDMD分解、显著性图增强.

    • 2.1.   多分辨率动态模式分解

  • 多分辨率动态模式分解是将多分辨率分析技术引入DMD方法中，在时间和空间上对多尺度系统进行建模的过程. 尽管与其他降维技术相比，DMD能够提供更好的性能，但是其局限性也十分明显. DMD仅以单个分辨率运行，并且包含前景和背景数据，而且与多分辨率分析相比，DMD的计算复杂度高. 多分辨率分析通常使用基于小波的方法进行，可以从感兴趣的数据中系统地递归删除特征. 多分辨率动态模式分解是DMD算法的扩展，可将时域信号分为时空模式，同时提取时空特征.

    • 2.2.   基于MRDMD的显著区域检测

  • MRDMD整合了空间和时间特征，通过递归采样的方式从数据中删除缓慢变化或不重要的空间和时间特征(包括噪声)，因此MRDMD非常适合分离感兴趣的区域. 正如基于DMD的显著区域检测方法一样，本文方法将大小为M×N的输入彩色图像由RGB色彩空间转换至CIELAB，YCbCr和YUV色彩空间中，并且将每个颜色通道的图像堆叠在一起以形成序列快照. 将图像分解为各种颜色通道能够更好地分离图像的色度和亮度，而且图像的显著区域在不同颜色通道中显示出不同程度的可感知性. 除此之外，还能够利用多个颜色通道表示保留的图像信息做进一步的处理，用于描述人类感知的非线性行为.

    人脑对图像/场景具有独特的颜色敏感，因此使用与色度信息相对应的列向量为图像提供了更好的动态表示. 基于颜色的表示方法适用于前景和背景颜色分布不同的图像. 如果前景和背景颜色重叠，仅基于颜色的表示将很弱. 为了解决这个问题，需要增加亮度信息. 本文利用经典的Canny边缘检测算法[16]对不同亮度通道的边缘映射进行提取，但是边缘映射仅能够表征输入图像的高频信息. 为了增加低频图像表示，还需将输入的原始图像进行高斯平滑. 然后将平滑图像和边缘映射进行矢量化，并添加到快照矩阵中，用作MRDMD模块的输入.

    由于MRDMD能够更好地分解具有不同频率分量的输入矩阵，因此本文使用具有不同频率分量(平滑图像、边缘映射和颜色通道表示)的快照矩阵作为输入. MRDMD将对给定的数据矩阵进行分解，并递归地移除每个矩阵中缓慢变化的内容. 在本文实验中MRDMD进行了3级分解：MRDMD的第1级分解将DMD近似分量分解为慢速模式和快速模式，MRDMD的第2级分解用于捕获最慢的模式，即图像的背景信息，第3级分解捕获最快模式，即图像的前景信息.

    为了增强显著性图，本文方法基于空间信息进行了一些后处理操作，基本思想是赋予属于显著区域的像素更多的权重，并抑制非显著像素. 在空间细化过程中主要是基于两个假设进行的：①图像中的显著区域通常不位于图像边界附近；②与非显著区域相比，初始显著性图中的真实显著对象通常具有更多的像素数. 因此，可以从初始显著性图中去除靠近图像边界的区域以及较小的区域.

3.   实验与结果分析

  • 为了验证本文方法的有效性，利用MSRA-B，SOD和ECSSD这3个数据集[17]对基于MRDMD的显著性模型进行评估，并将测试结果与当前先进的显著性检测模型SP-GMM[18]，SOD-CED[19]，GVF-MDC[20]和GTS[21]等进行了对比. 这些方法在获取图像显著图的过程中或多或少地考虑了噪声的影响，并采取了一定的技巧用于处理噪声. 本文实验的运行环境为Window10系统，Intel Core i7-4790 @ 3.6 GHz，RAM 8 GB，NVIDIA GTX750 Ti，运行软件为matlab 2018b.

    • 3.1.   数据集及评价指标

  • 本文选取MSRA-B，ECSSD和PASCAL-S这3个具有像素级显著性真实图像标注的基准数据集进行一组定性和定量分析实验. MSRA-B数据集中含有5 000幅多个类别的图像，其中大多数图像都有一个突出的目标和相应的真实图像. ECSSD数据集中含有1 000幅结构复杂的图像，该数据集的全部图像来自互联网，其中包含的真实图像由5名受试者标记. PASCAL-S包含850个图像，这些图像包含由12名受试者标记的像素级显著性真实图像.

    为了客观评估本文方法的检测效果，使用平均绝对误差MAE、精度-召回率分析(PR曲线)和F1-测量值作为客观评价指标. MAE表示显著性图与真实图之间的误差，其定义为

    式(1)中：H表示像素总数，h表示像素变量，取值范围为[1，H]，S和GT分别表示像素的显著性值和真值.

    精度P是指检测出的真实显著性图内像素个数与检测显著性像素个数之比，召回率R是指检测出的真实显著性像素个数与真图内显著性像素个数之比，两者的计算公式分别为

    F1-测量值通过综合考虑查准率和查全率来评估模型的整体性能，是精度和召回率的调和平均数.

    式中：β为调和系数，其值设置为0.3.

    • 3.2.   定性评价

  • 所有显著区域检测方法都能够检测出显著区域的位置和轮廓，但是SP-GMM方法突出的区域比较模糊，边缘细节丢失严重. SOD-CED和GVF-MDC则轮廓比较清晰，边缘细节处理的较好，但是混杂了细微背景. GTS检测对象较为完整，整个区域的显著性值较为一致，但是也存在细节丢失的现象. 相比于其他算法，本文模型产生了更好的显著性图，不仅清晰检测出显著性区域的细节部分不含多余的非显著性区域，而且显著性图的信息更丰富.

    • 3.3.   定量评价

  • 为了对本文方法的性能进行客观评价，选取PR曲线、F1-测量值和MAE值进行对比分析. 对于PR曲线，相同召回率下的准确率越高，则说明相应检测方法越有效. 本文方法的性能优越性在PR曲线上明显可见，在相同召回率情况下MRDMD的准确率最高. 同时，在所有数据集中与MRDMD模型相关的PR曲线在0.4~1之间，表明了该方法的鲁棒性. 因此，本文方法产生了更好的显著性映射.

    • 3.4.   噪声影响分析

  • 为了评估各种显著性模型在噪声输入下的稳定性，本文实验在输入图像中加入方差为0.05，0.1，0.2或0.3的高斯白噪声. 选择高斯白噪声是因为它被用来模拟自然界中许多随机过程的影响. 本文的显著性模型能够在不同的噪声强度下保持质量.

    为了研究模型对噪声刺激的敏感性，本文针对各种噪声强度(σ2=0，0.05，0.1，0.2，0.3)给出了每种方法的AUC(Area Under Curve)值. 随着噪声强度增加，所有显著性模型的性能都会下降. 但是，本文提出的MRDMD显著性模型在较大的噪声强度范围内要优于其他方法.

4.   结语

  • 为了解决在宽广噪声强度范围内获得退化图像高质量显著性图的挑战问题，本文提出一种基于MRDMD模型的噪声图像显著性检测方法，该方法通过将MRA技术引入DMD方法中，在时间域和空间域上进行建模，提取多尺度的时空特征. 本文方法将输入图像由RGB色彩空间转换至CIELAB，YCbCr和YUV色彩空间中，利用图像的色度、亮度和边缘信息生成MRDMD模型的输入矩阵，而后MRDMD模型经过多级分解并使用各级中的信息来生成显著性图. 为了增强显著性图，本文方法还采用形态学平滑和对比度增强技术进行了后处理操作. 相比于其他方法，本文方法在干净和嘈杂的图像中显著性都具有明显的优势.

Reference (21)

Catalog

    Copyright Journal of Southwest China Normal University(Natural Science Edition)

    Address： Tel：023-68252540，68254576，68254478 E-mail：xbbjb@swu.edu.cn

    Supported by:Beijing Renhe Information Technology Co. Ltd

    /

    DownLoad:  Full-Size Img  PowerPoint
    Return
    Return