Salt and Pepper Noise Image Denoising Based on L1 Norm and Adaptive Total Variation

HE Ming

doi:10.13718/j.cnki.xsxb.2021.05.017

To solve the problem that the classical total variation model can't effectively preserve the image edge information when performing salt and pepper denoising, an image denoising method based on L1 norm and adaptive total variation regularization for pepper and salt noise has been proposed. In this method, an explicit salt and pepper denoising model has been constructed on the basis of total variation and image denoising model, and the adaptive regularization parameters been calculated by means of the average value of noise pixels to effectively retain the image edge information. Finally, the original dual gradient algorithm has been used to solve the display model, which makes the numerical solution closer to the original image. The experimental results show that, compared with other methods, this method is better than the contrast method in PSNR and SSIM, and can effectively remove the high-density salt and pepper noise.

HTML

在数字图像处理领域，图像恢复对提高图像质量起着至关重要的作用^[1-2]. 实际图像通常受到噪声、灰尘、划痕等多种因素的破坏，这种失真降低了图像分割和模式识别等其他图像处理任务的有效性^[3-4]. 噪声通常出现在数码相机、CT/X-射线/MRI扫描仪、显微镜、望远镜等各种成像系统拍摄的数字图像中^[5]，因此图像去噪是图像复原中最重要的问题之一. 图像去噪的目的是通过去除噪声来获得与真实图像最接近的图像，它是图像处理中的一个预处理过程，保护边缘信息和纹理细节是其最重要的任务之一^[6-7]. 图像去噪的成功会影响分割和分类等类似过程的成功率.

椒盐(Salt and Pepper，SP)噪声是由图像信号中的坏点和突然干扰引起，它会损坏图像并明显降低图像质量^[8]. 损坏的图像只有白色像素(最大灰度值)和黑色像素(最小灰度值)两个灰度值，白色像素称为盐像素，黑色像素称为椒像素^[9]. 椒盐去噪的方法包括正则化、非线性滤波、小波分析、数学变换和主成分分析等. 对于非线性滤波器，中值滤波器(Median Filter，MF)是处理SP噪声的有效方法，可以在不破坏边缘细节的情况下去除SP噪声，但仅对低密度SP噪声有效，这是因为滤镜将中心像素值统一替换为局部窗口的中值^[10]. 小波变化可以很好地保留图像的几何信息，但该类方法的计算较为复杂. 正则化的主要思想是引入逼近原不适定问题算子的正则化算子进而逼近原不适定问题的解，即通过正则化方法求出的解是唯一的、存在的和稳定的，且是原反问题的一个很好的逼近^[11].

文献[12]提出一种基于中值滤波器的高效椒盐图像去噪方法，该方法利用邻域像素值和自适应窗口来逼近原始像素值，获得第一阶段剩余噪声像素的近似值达到对图像去噪的目的. 文献[13]提出一种基于非局部开关滤波器卷积神经网络的椒盐图像去噪方法，该方法利用非局部信息对噪声图像进行开关滤波预处理，对预处理后的图像进行分块并训练卷积神经网络(CNN)，从而为未来噪声图像提供CNN去噪模型. 文献[14]提出灰度图像中椒盐噪声的自适应模糊滤波方法，该方法根据像素在相应滤波窗口中的主要隶属函数值来检测噪声像素，然后利用加权均值的1型模糊方法在各自的滤波窗口中对不良像素进行去噪. 该方法在高密度噪声水平下也能保留有意义的图像细节.

在研究了现有图像去噪的基础上，为了进一步保留边缘信息和纹理细节，本文提出基于L1范数和自适应全变差正则化的椒盐噪声图像去噪方法. 该方法基于全变差模型和一般图像去噪模型构造椒盐去噪模型，然后针对椒盐噪声的特征，基于损坏像素的平均值来计算自适应正则化参数，最后基于原始对偶梯度法给出显式模型的求解算法，从而提高图像的去噪质量. 在实验中使用全参考图像质量评估指标对不同噪声水平下合成图像和真实图像的去噪质量进行评估，实验结果表明相对于其他方法，本文提出的方法在去噪性能和边缘信息保留方面均明显提高.

1. 基于全变差的广义图像去噪问题

令u(x)，v(x)∈$\mathbb{R} $分别是灰度复原图像和灰度损坏(噪声)图像，其中x=(x₁，…，x_h)∈Ω$\mathbb{R} $^h是像素位置，Ω是图像域. 灰度图像的全变差复原问题为

式(1)中u和v分别是灰度复原图像和灰度噪声图像，|·|_p是L^p范数，E(·)是能量函数，K是滤波算子，λ是是正则化参数.

彩色图像可以被认为是各种灰度通道的组合，因此该模型适用于彩色图像. 为了简化其他相关SP去噪模型的标记和评估，本文仅考虑二维图像的情景，即h=2，x=(x₁，x₂)，彩色可以用类似方式呈现模型. 当p=2时，式(1)为具有L2范数的模型，用于有效恢复被高斯噪声破坏的图像，但是不能保持图像对比度和几何形状. 当p=1时，式(1)为具有L1范数的全变差去噪模型，可以有效恢复被SP噪声破坏的图像.

滤波算子K具有多种形式，取决于复原图像的类型. 对于图像反卷积问题，K可以是卷积核. 对于本文中考虑的降噪问题，算子K是单位算子I，即K≡I.

能量函数有以下几种重要类型：一阶全变差、非局部全变差、高阶全变差、分数阶全变差和主动轮廓模型. 用一阶全变差进行去噪会造成伪影，用其他类型可以避免这一缺点，但从复杂结构噪声(如高斯噪声或泊松噪声)中恢复图像时通常会出现伪影.

2. 基于L1范数和自适应全变差的椒盐噪声图像去噪

本文方法基于一阶全变差和数据保真度的L1范数、自适应正则化参数估计和原始对偶梯度算法来进行椒盐去噪，分为3个部分：构建显式椒盐去噪模型、估计自适应正则化参数和基于原始对偶梯度法求解显式模型.

2.1. 构建去噪模型

图像上的SP噪声具为

式(2)中δ_max是盐像素(白像素)的灰度值，δ_min是椒像素(黑像素)的灰度值. 对于8位灰度图像，δ_min=0，δ_max=255，q=q₁+q₂称为噪声电平.

选择能量函数E(u)可以避免伪影，但是SP图像的去噪结果中很少出现伪影. 因此，本文仅考虑能量函数为一阶全变差的情况.

式(3)中x是像素位置，Ω是图像域，u是灰度复原图像.

式(1)是解决图像去噪模型的通用形式. 对于SP去噪问题，噪声图像的像素可以分类为：不变像素(无噪声像素)、盐像素和胡椒像素，算子K≡ I. 因此，数据保真项(式(1)中的第二项)的积分表达式可以重写为

如果p=1，式(4)等效于如下内容

如果p≥2，式(4)等效于如下内容

对于椒盐去噪问题，p=1比p≥2的情况简单，因为p=1时对应的欧拉-拉格朗日方程将不包含数据保真项(用u求导后将变为常量)，因此SP图像去噪问题的模型可以重写为

式(7)中x是像素位置，Ω是图像域，u和v分别是灰度复原图像和灰度噪声图像，λ是是正则化参数.

全变差范数有两种类型：各向异性全变差|▽u|=|u_x1|+|u_x2|和各向同性全变差|▽u|=|u_x1²|+|u_x2²|. 许多去噪工作表明，各向同性全变差比各向异性全变差更有效. 因此，本文使用各向同性全变差. 基于全变差的显式椒盐去噪模型可以表示为

2.2. 自适应正则化参数估计

选择合适的正则化参数λ可以提高去噪质量，正则化参数将根据椒盐噪声的特性进行估计.

对于自然图像，像素的灰度值通常不会达到边界值δ_max和δ_min. 因此，如果像素的灰度值等于边界值，则可以将其视为噪声像素. 在真实自然图像去噪的情况下，本文提出一种自适应正则化参数λ的估计方法，如式(9)所示. 该自适应正则化参数基于噪声像素的平均值来计算，从而有效地保留图像边缘信息的全变差来降低椒盐噪声.

式(9)中u_v是噪声图像v在[0, 1]区间内归一化损坏像素的平均值，φ_η是椒盐噪声水平.

设I为图像所有像素的集合，I_c为图像损坏像素的集合，I_max为具有灰度值δ_max的像素集合，I_min为具有灰度值δ_min的像素集合. 对于SP噪声，本文考虑I_c=I_max∪I_min. 对于具有高密度噪声的噪声图像，可以按以下方式评估平均u_v和噪声水平φ_η.

式(10)中v_{I_c}是I_c中像素的灰度值，符号card(·)为集合基数(集合中元素的数量).

2.3. 基于原始对偶法求解去噪模型

首先将式(8)的优化问题离散化

式(11)中▽_x⁺u_ij=u_i+1，j-u_ij，▽_y⁺u_ij=u_i，j-1-u_ij，0 < α=1，(i，j)∈{1，…，n}×{1，…，m}，▽_x⁺u_n，j=0，▽_y⁺u_i，m=0

式(11)可以重写为最小-最大问题

式(12)中div是散度运算符，(i，j)∈{1，…，n}×{1，…，m}，〈·，·〉是标量积，式(13)中▽_x^-p_ij=p_ij-p_i-1，j，▽_y^-p_ij=p_ij-p_i，j-1，▽_x^-p_1，j=-p_1，j，▽_x^-p_n，j=p_n，j，▽_y^-p_i，1=-p_i，1，▽_y^-p_i，m=p_i，m.

式(12)包含两个变量u和P. 本文通过固定对偶变量p来解决u的优化问题，最佳条件为

通过梯度下降法求解上式，τ>0

本文通过固定对偶变量u来解决p的优化问题，最佳条件为

使用投影梯度法求解式(18)，其中ρ>0

本文用初始条件u[0]=v，P[0]=0来评估u^[k+1]和P^[k+1]，使用迭代次数k>K或者容差|u^[k+1]-u^[k]|≤ε来终止循环.

3. 实验结果与分析

所有实验在一台配置为Intel Corei5@1.6 GHz和4 GB RAM的Windows 10 Pro笔记本上进行，并在MATLAB 2014a环境下实现. 选取UC-Berkeley数据集的合成图像和真实自然图像进行实验，尺寸为256×256. 将测试结果与中值滤波(MF)、自适应加权中值滤波(ACWMF)、维纳滤波器(Wiener)、小波去噪(Wavelet)、基于L1范数全变差去噪(TVL1)和基于空间光谱TV正则化(SSTV)方法进行对比分析.

所有实验主要是对椒盐噪声进行研究处理，通过设置不同的噪声水平来对比本文方法和其他方法的去噪性能. 本文方法参数配置为ε=α=10^-5，τ=0.02，ρ=6.25，最大迭代次数限制为K=500.

3.1. 图像质量评估

为了评估本文方法的去噪性能，使用全参考图像质量评估指标：峰值信噪比(PSNR)和结构相似度(SSIM).

峰值信噪比(PSNR)定义为

式(21)、式(22)中MSE表示均方误差，u₀为原始图像，u_max为最大灰度值，m×n为图像大小(8位图像u_max=255). PSNR(以分贝dB为单位)值越高表示图像质量越好.

与PSNR相比，结构相似度(SSIM)是更好的误差度量标准，SSIM值在[0, 1]的范围内，该值越接近于1，表示结构保持性越好. SSIM是在两个相同大小m×n图像w₁和w₂之间计算的.

式(23)中u_wi为w_i的平均值，σ_wi²为w_i的方差，σ_w1σ_w2为协方差，c₁和c₂为稳定参数. SSIM中的参数设置为：c₁=(K₁L)²，c₂=(K₂L)²，K₁=0.01，K₂=0.03，8位图像的L=255. 对于图像去噪，在添加合成噪声的情况下，将原始无噪图像与去噪后的图像进行比较，计算本文方法在去除噪声的同时保留的结构信息.

3.2. 实验结果与分析

表 1和表 2给出了噪声水平为50%，70%，80%和90%的情况下，不同去噪方法的PSNR和SSIM值，该测试结果是利用数据集UC-Berkeley中的20张灰度图进行测试的平均值. 从表 1、表 2可以看出，在不同的噪声水平下，本文方法在PSNR和SSIM指标上均优于其他对比的去噪方法，这是因为本文自适应正则化参数是根根噪声像素的平均值来计算的，可以有效地保持边缘信息的全变差来降低椒盐噪声.

4. 结语

本文提出一种基于L1范数和自适应全变差正则化的椒盐噪声图像去噪方法. 该方法基于L1保真度、全变差和一般图像去噪模型构建显式椒盐去噪模型. 实验表明，本文方法在合成和真实自然图像中都能有效地去除椒盐噪声. 未来的工作是将该方法扩展到彩色和多光谱图像的椒盐噪声去噪，并在自适应正则化参数中加入纹理保留分量.

Table (2) Reference (14)

Name
	Name cannot be empty!
E-mail
	Mailbox cannot be empty! Mailbox cannot be empty!
Telephone
	Mobile number cannot be empty! Please enter a valid mobile number!
Title

Content
Verification Code

[1]	THANH D N H, PRASATH V B S, SON N V, et al. An Adaptive Image Inpainting Method Based on the Modified Mumford-Shah Model and Multiscale Parameter Estimation[J]. Computer Optics, 2019, 43(2): 251-257. doi: 10.18287/2412-6179-2019-43-2-251-257 CrossRef Google Scholar
[2]	THANH D N H, ERKAN U, PRASATH V B S, et al. A Skin Lesion Segmentation Method for Dermoscopic Images Based on Adaptive Thresholding with Normalization of Color Models[C]//2019 6th International Conference on Electrical and Electronics Engineering (ICEEE). Istanbul: IEEE, 2019. Google Scholar
[3]	SHIM J, YOON M, LEE Y. Feasibility of Newly Designed Fast Non Local Means (FNLM)-Based Noise Reduction Filter for X-Ray Imaging: a Simulation Study[J]. Optik, 2018, 160: 124-130. doi: 10.1016/j.ijleo.2018.01.101 CrossRef Google Scholar
[4]	PRASATH S, THANH D N. Structure Tensor Adaptive Total Variation for Image Restoration[J]. Turkish Journal of Electrical Engineering & Computer Sciences, 2019, 27(2): 1147-1156. Google Scholar
[5]	崔金鸽, 陈炳权, 徐庆. 基于Dual-Tree CWT和自适应双边滤波器的图像去噪算法[J]. 计算机工程与应用, 2018, 54(18): 223-228. doi: 10.3778/j.issn.1002-8331.1706-0062 CrossRef Google Scholar
[6]	NAGHASHI V. Co-Occurrence of Adjacent Sparse Local Ternary Patterns: a Feature Descriptor for Texture and Face Image Retrieval[J]. Optik, 2018, 157: 877-889. doi: 10.1016/j.ijleo.2017.11.160 CrossRef Google Scholar
[7]	ZHAO W, DELEDALLE C A, DENIS L, et al. Ratio-Based Multitemporal SAR Images Denoising: RABASAR[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(6): 3552-3565. doi: 10.1109/TGRS.2018.2885683 CrossRef Google Scholar
[8]	ERKAN U, GÖKREM L, ENGINO ǦLU S. Different Applied Median Filter in Salt and Pepper Noise[J]. Computers & Electrical Engineering, 2018, 70: 789-798. Google Scholar
[9]	XING Y, XU J, TAN J Q, et al. Deep CNN for Removal of Salt and Pepper Noise[J]. IET Image Processing, 2019, 13(9): 1550-1560. doi: 10.1049/iet-ipr.2018.6004 CrossRef Google Scholar
[10]	CHERVYAKOV N I, LYAKHOV P A, ORAZAEV A R. New Methods of Adaptive Median Filtering of Impulse Noise in Images[J]. Computer Optics, 2018, 42(4): 667-678. doi: 10.18287/2412-6179-2018-42-4-667-678 CrossRef Google Scholar
[11]	KAMALAVENI V, NARAYANANKUTTY K A, VENI S, et al. Survey on Total Variation based Image Regularization Algorithms for Image Denoising[J]. International Journal of Pure and Applied Mathematics, 2018, 118(20): 3723-3730. Google Scholar
[12]	ERKAN U, GÖKREM L. A New Method Based on Pixel Density in Salt and Pepper Noise Removal[J]. Turkish Journal of Electrical Engineering & Computer Sciences, 2018, 26(1): 162-171. Google Scholar
[13]	FU B, ZHAO X Y, LI Y, et al. A Convolutional Neural Networks Denoising Approach for Salt and Pepper Noise[J]. Multimedia Tools and Applications, 2019, 78(21): 30707-30721. doi: 10.1007/s11042-018-6521-4 CrossRef Google Scholar
[14]	SINGH V, DEV R, DHAR N K, et al. Adaptive Type-2 Fuzzy Approach for Filtering Salt and Pepper Noise in Grayscale Images[J]. IEEE Transactions on Fuzzy Systems, 2018, 26(5): 3170-3176. doi: 10.1109/TFUZZ.2018.2805289 CrossRef Google Scholar

Message Board

Salt and Pepper Noise Image Denoising Based on L1 Norm and Adaptive Total Variation

Abstract

References

Access History

通讯作者: 陈斌, bchen63@163.com

Article Metrics

Access History

Other Articles By Authors