Super-Resolution Reconstruction of Sparse-Domain Non-locally Regularized Polarized Images

ZHANG Lu-lu; MA Xiao-min; CHEN Song; LIU Yang

doi:10.13718/j.cnki.xsxb.2020.11.015

The non-local self-similarity exists in images with different polarization directions. Therefore a super-resolution reconstruction method was proposed based on sparse representation of polarization images. Firstly, principal component analysis was carried out to train sub-dictionaries. Secondly, centralized sparse coding was used to decompose image blocks sparsely. And finally, sparse representation coefficients were used to reconstruct them. The experimental results demonstrated that the method can effectively reconstruct the edge structure and detail information in polarization images.

HTML

在偏振成像探测中，由于受到偏振成像设备性能或探测目标距离的限制，偏振图像的空间分辨率一般较低^[1]，影响了目标的探测和识别精度.在偏振图像中，由于在同一幅图像中相邻或者非相邻位置，甚至在其他偏振方向图像中某一位置的图像块，存在非局部自相似特征，而传统的方法没有利用这种特征，重建效果不是很理想.本文利用不同偏振方向图像中的这种冗余和互补信息，提出了一种基于稀疏表示的偏振图像超分辨率重建方法.

在基于稀疏表示的超分辨率重建方法中，使用通用的超完备字典D进行字典学习，可以对所有图像块进行稀疏编码.但是，超完备的冗余字典中含有许多不相干元素，降低了计算效率和稀疏编码精度.为此，利用一个具有相似结构的样本集学习出紧的子字典对给定图像块进行编码.首先，选取一组较高质量的偏振图像，并将它们分成许多图像块; 其次，使用高通滤波器输出各图像块的高频特征数据，并利用K均值方法处理高频特征数据，形成聚类子集; 然后，利用主成分分析方法对每一个子类进行主成分计算，并以此构建子字典.当对图像块进行编码时，利用自适应回归稀疏表示的选取策略获得最优的子字典.在稀疏编码阶段，为了提高稀疏编码的稳定性和精度，使用集中稀疏编码方法对图像块逐一进行稀疏编码，最后，以稀疏表示系数与高分辨率字典的线性组合得到重建的高分辨率偏振图像.

1. 非局部相似稀疏模型

1.1. 非局部相似稀疏模型

对于一个给定的很小的偏振图像块(3×3~7×7)，不仅存在不同偏振方向相同位置上的相似图像块，甚至有可能存在分布在不同偏振方向图像中具有相似结构的图像块.像这样分布在不同偏振方向图像中的图像块，将它称作图像的非局部自相似先验信息^[2].显然，对于给定的图像块x_i，可以通过对其非局部相似块x_i^j的加权平均来近似，$x_{i} \approx \sum_{j} \gamma_{i}^{j} x_{i}^{j}$，其中γ_i^j是分配给x_i^j的加权系数，则x_i的稀疏表示系数α_i可以由x_i^j的稀疏表示系数α_i^j来表示加权近似：

显然，‖α_i-γ_i^jα_i^j‖_lp应该取最小值，这将作为非局部相似正则化约束项，用于稀疏编码过程.

基于稀疏表示的图像超分辨率重建问题可以描述为：

其中X={x₁，x₂，…，x_N}，D是预先学习的超完备字典，可以对所有可能的图像结构进行稀疏编码，λ是用于平衡编码精度和表示系数的稀疏性，结合式(1)和式(2)，可得到如下非局部稀疏编码模型：

其中η_i是一个分配给非局部正则化的权重.

1.2. 子字典学习和适应性选择

在公式(3)的稀疏编码模型中，假设通用的冗余超完备字典已经得到.然而，超完备字典的冗余性决定了其中有许多不相关的原子，这不仅降低了稀疏编码的计算效能而且影响了重建的准确度.因此，使用一个具有相似结构的局部紧凑子字典D_k对图像块进行编码.首先，采集一组较高质量的偏振图像并对其进行分割处理，获得训练所需的样本图像块集合S={s₁，s₂，…，s_M}.利用高通滤波器处理每一个图像块，获得S的特征数据库，表示为S_h={s₁^h，s₂^h，…s_M^h}.然后，利用K均值聚类方法将S_h划分成K个子类{S₁，S₂，…S_k}，并用μ_k表示第S_k子类的质心.为了从S_h子类中学习局部紧凑子字典，通过主成分分析方法计算每一子类的主成分.

对数据集合S_k的协方差矩阵Ω_k进行主成分分解，可以获得一个正交变换矩阵P_k.为了平衡式(2)中λ，取前r个最重要的特征向量构建子字典D_k，而r的最优值r_o则由下式得到：

其中D_r=[P₁，P₂，…， P_r]，因此数据集合S_k的紧的子字典是D_k=[P₁，P₂，…，P_{r_ο}].

为了对图像中图像块x_i进行编码，可以通过自适应的稀疏域选择策略选择合适的子字典.基于x_i^h和μ_k之间距离的最小值决定x_i的子字典，x_i^h为x_i的高通滤波部分，μ_k为各类的质心，则x_i的子字典k_i由下式决定：

2. 集中稀疏编码

待重建的图像$\widehat{x}$可以通过$\hat{x}=\boldsymbol{D}_{k} \hat{\alpha}$获得.由于$\widehat{\alpha }$是通过观察图像编码得到，与原始图像的稀疏编码系数有紧密的关系，因此重建图像最接近原始图像.事实上，式(3)中非局部相似正则项$\sum_{i=1}^{N}{\|}{{\eta }_{i}}\left({{\alpha }_{i}}- \right.\left. \alpha _{i}^{*} \right){{\|}_{lp}}$是一个集中稀疏约束条件，可以有效地减少稀疏编码误差，从而得到更好的重建结果.令θ_i=α_i-α_i^*，实验表明，θ_i可以由独立同分布的Laplacian分布很好地表示，而集中稀疏约束条件可以由l₁范数(l_p=1)来描述，因此式(3)中的非局部稀疏编码模型可以被描述为：

其中λ_i和η_i分别是对角元素为λ_i，j和η_i，j的对角加权矩阵.在实现过程中，对于图像块系数α_i和α_i^*的每一个元素α_i，j和α_i，j^*，它们的权重λ_i，j和η_i，j在各自循环中随α_i，j和α_i，j^*更新而更新：

其中c₁和c₂是正常数，α_i，j^(l)是α_i，j第l次迭代后的估计值，ε是一个用来增加式(7)的稳定性的系数.在初始化时，一旦求得编码系数α_i，就能通过公式(1)计算得到α_i^*，再更新得到$\widehat{\alpha }$，满足收敛条件后，迭代结束.式(6)可以通过迭代收缩算法求解.

4. 总结

基于偏振方向图像稀疏表示域中的非局部自相似特性，本文提出了一种偏振图像超分辨率重建方法，利用同一场景中不同偏振方向低分辨率图像的冗余和互补信息，重建得到一幅高分辨率图像.通过实验从主观视觉效果和客观评价指标上验证了本文方法的有效性.

Figure (1) Table (1) Reference (10)

Name
	Name cannot be empty!
E-mail
	Mailbox cannot be empty! Mailbox cannot be empty!
Telephone
	Mobile number cannot be empty! Please enter a valid mobile number!
Title

Content
Verification Code

[1]	赵永强, 潘泉, 程咏梅.成像偏振光谱遥感及应用[M].北京:国防工业出版社, 2011. Google Scholar
[2]	刘家宾.基于非局部稀疏模型的字典分析与图像去噪[D].西安: 西安电子科技大学, 2012. Google Scholar
[3]	YANG J C, WRIGHT J, HUANG T S, et al. Image Super-Resolution via Sparse Representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873. doi: 10.1109/TIP.2010.2050625 CrossRef Google Scholar
[4]	DONG W S, ZHANG L, SHI G M. Centralized Sparse Representation for Image Restoration[C]//2011 International Conference on Computer Vision. New Yok: IEEE Press, 2011. Google Scholar
[5]	于春梅.结合失真函数的稀疏域图像隐写算法[J].微型电脑应用, 2014, 30(6): 1-4. Google Scholar
[6]	田玉敏, 宋君.利用概率对稀疏域划分的压缩感知方法[J].西安电子科技大学学报, 2013, 40(6): 52-57. Google Scholar
[7]	LU W, SUN H X, WANG R, et al. Single Image Super Resolution Based on Sparse Domain Selection[J]. Neurocomputing, 2017, 269: 180-187. doi: 10.1016/j.neucom.2016.12.100 CrossRef Google Scholar
[8]	LIU C H, QI Y, DING W R. Infrared and Visible Image Fusion Method Based on Saliency Detection in Sparse Domain[J]. Infrared Physics & Technology, 2017, 83: 94-102. Google Scholar
[9]	甘伟, 许录平, 张华, 等.一种贪婪自适应压缩感知重构[J].西安电子科技大学学报, 2012, 39(3): 50-57, 79. Google Scholar
[10]	蔡荣文.基于改进的Bernoulli矩阵压缩感知图像重构算法[J].山东农业大学学报(自然科学版), 2016, 47(1): 107-110. Google Scholar

Message Board

Super-Resolution Reconstruction of Sparse-Domain Non-locally Regularized Polarized Images

Abstract

References

Access History

通讯作者: 陈斌, bchen63@163.com

Article Metrics

Access History

Other Articles By Authors