Image Reconstruction of Compressed Sensing Based on Deep Learning Sparse Measurement

Xiu-jie YANG

doi:10.13718/j.cnki.xsxb.2020.01.008

Aiming at the problem of reconstruction performance and measurement matrix hardware realization in compressed sensing theory, this paper proposes a deep learning method to obtain sparse ternary measurement compressed sensing and to constructs sparse ternary {0, 1, -1} observations. The matrix imposes sparsity and binary constraints on the proposed network architecture, which meets the high-probability image reconstruction guarantee with fewer observations, and solves the hardware limitation and reconstruction performance requirements. In this paper, an end-to-end approach has been used in the deep learning architecture. The proposed network architecture learns a pair of measurement matrices and reconstruction operators together in the training phase, and optimizes the linear sensing process and nonlinear reconstruction process.Experiments show that under the condition of 5% non-zero measurement matrix, the reconstruction quality is superior to the existing technology, which shows the feasibility and effectiveness of this method.

HTML

压缩感知(Compressed Sensing，CS)是一种信号处理框架，自21世纪初引入以来，在信号处理领域和应用数学领域引起了大量研究人员的关注，其核心思想就是采用通过线性测量的少量测量信号有效地重建原始信号^[1-2]. CS的结果对众多信号处理应用产生重要影响，包括对音频^[3]，图像^[4-5]和视频^[6-7]等高维数据的高效处理和分析.

在压缩感知理论中，测量矩阵是一个重要组成部分，最经典的测量矩阵为高斯矩阵、伯努利矩阵，前者都是随机测量矩阵，虽然利用随机测量矩阵引入压缩感知，但是新的结果涉及比随机测量更有效的矩阵，从而产生较少的必要测量或更好的重建性能^[8].随着CS理论越来越成熟，对于测量矩阵的研究也越来越多.文献[9]提出一种对随机测量矩阵的优化技术，该方法通过构建不连贯的单位规范紧密框架(Unit Norm Tight Frames，UNTF)，使得随机测量矩阵的最大列相关性接近最小可能边界，从而提高重构性能.文献[10]将信号的先验知识纳入信号采集阶段，减少编码测量的次数，同时在解码器处完美实现信号重构.

对于随机矩阵的研究已经成熟，而确定性矩阵还有待研究，文献[11]给出一种确定性测量矩阵，使用嵌入操作将二进制矩阵与相关性较低的矩阵合并，这种嵌入操作具有更好的恢复性能.文献[12]在低密度奇偶校验(Low-density Parity-check，LDPC)矩阵基础上，提出一种类似托普利兹矩阵的压缩感知测量矩，该矩阵易于实现，具有更好的稀疏性.文献[13]分块的有序范德蒙矩阵具有线性不相关性质，实现了时域中的非均匀采样，使得块的有序范德蒙矩阵CS特别适合处理自然图像信号.

目前，CS的重要研究方向着重于CS的硬件实现，为了实现高效存储，快速编码和解码，已经提出了结构化矩阵，不过这些矩阵重构性能并不理想.针对以上问题，本文提出一种深度学习的稀疏测量矩阵压缩感知方法，采用深度学习方法来学习优化测量矩阵和从测量到原始信号的非线性重建过程.为了便于测量过程的硬件实现，使用{0，1，-1}组成稀疏三元矩阵，在所提出的网络架构上施加稀疏性和二元约束.实验结果表明，本文方法在包含5%的非零元素测量矩阵条件下，能够实现图像的高质量重建.

1. CS理论

传统CS理论定义为：用满足条件的测量矩阵进行线性测量，对有限长度的实值信号x∈R^N使用CS感测或投影矩阵实现感测机制产生经处理信号的压缩表示.线性测量过程可描述为

其中，y∈R^M表示获得的测量值矢量，Φ∈R^M×N为测量矩阵，测量矩阵满足有限等距性质(Restricted Isometry Property，RIP)条件，而对于信号x∈R^N可用稀疏基和稀疏向量s表示，s中含有K个非零值，且K < < N.测量矩阵的RIP条件见式(2).

其中，0 < δ_k < 1.为了从其相应的测量向量y中获重构稀疏信号，需要寻找与测量向量y一致的最稀疏信号$\mathop x\limits^ \wedge $.满足式(1)中的稀疏向量，可以作为l₁范数最小化问题的解，求得的解$\mathop s\limits^ \wedge $即能够得到重建信号，l₁范数求解$\mathop s\limits^ \wedge $可表示为

其中，‖·‖₁表示矢量的l₁范数，求解式(3)是一个NP-hard问题.因此，用l₀范数来代替l₁范数求解方程，可将式(3)转化为一个易处理和稳定的线性规划问题.这个线性规划可以基于凸优化方法或迭代贪婪算法来求解，这些算法一般是一阶方法，因此更适合于高维问题.

传统的CS理论基于随机高斯或随机Bernoulli矩阵，可用于恢复n维的稀疏信号s，条件是测量次数m为O(s log(n/s))，考虑随机矩阵时，一个重要的问题是这些矩阵通常难以用硬件实现.存储这些矩阵的困难以及对测量过程的某些物理限制使得在实践中实现CS非常困难.而且，当将任意矩阵与高维的信号矢量相乘时，缺少任何快速矩阵乘法导致计算成本偏高.因此，在CS过程中，如何构建测量矩阵与非线性重构算子是最重要的2个部分.测量矩阵构建得好，则能够用更少的存储空间来对压缩测量值进行存储，提高信号的重建质量.

深度学习是一个新兴领域，可以学习数据多个层次的表达，并已成功用于图像处理任务.深度学习也应用于分布式CS、量化CS和视频CS.在本文中，采用深度学习方法来学习优化测量矩阵和从测量到原始信号的非线性重建过程.为了设计适合于硬件实现的测量，本文采用由{0，1，-1}组成的稀疏矩阵，在所提出的网络架构上施加稀疏性和二元约束.本文方法在图像块上进行训练，学习测量矩阵用于以块为基础获取图像.实验结果表明，高质量的重建可以通过只包含5%非零项{1，-1}的测量来实现.

4. 结语

本文提出了一种新的深度神经网络的稀疏测量的CS方法，该方法设计了一种高度稀疏的三元结构矩阵，方便测量过程硬件实现.另外，该方法采用深度神经网络来训练一对测量矩阵和重构算子，优化线性测量过程和非线性重构过程.实验结果表明，对于具有5%非零二进制条目的测量矩阵和利用所提出算法端对端训练的相应重构算子，能够有效实现图像重构，并且重构性能优于O-NL-SDA和BP的压缩感知算法.极其稀疏的测量矩阵，只使用相同算法0.1%非零值的测量矩阵也可以获得较好的重构性能.

Figure (3) Table (4) Reference (14)

Name
	Name cannot be empty!
E-mail
	Mailbox cannot be empty! Mailbox cannot be empty!
Telephone
	Mobile number cannot be empty! Please enter a valid mobile number!
Title

Content
Verification Code

[1]	METZLER C A, MALEKI A, BARANIUK R G.From Denoising to Compressed Sensing[J].IEEE Transactions on Information Theory, 2016, 62(9):5117-5144. doi: 10.1109/TIT.2016.2556683 CrossRef Google Scholar
[2]	彭茂玲, 陈善雄, 余光琳.一种基于压缩感知的入侵检测方法[J].西南大学学报(自然科学版), 2014, 36(2):186-192. Google Scholar
[3]	王泉, 吕方旭, 张金成.基于CC2530的声音信号压缩感知硬件实现方法[J].计算机工程与设计, 2014, 35(7):2356-2359, 2446. doi: 10.3969/j.issn.1000-7024.2014.07.019 CrossRef Google Scholar
[4]	GHAHREMANI M, GHASSEMIAN H.Remote Sensing Image Fusion Using Ripplet Transform and Compressed Sensing[J].IEEE Geoscience and Remote Sensing Letters, 2015, 12(3):502-506. doi: 10.1109/LGRS.2014.2347955 CrossRef Google Scholar
[5]	WANG L, LU K, LIU P.Compressed Sensing of a Remote Sensing Image Based on the Priors of the Reference Image[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(4):736-740. doi: 10.1109/LGRS.2014.2360457 CrossRef Google Scholar
[6]	AASHA NANDHINI S, SANKARARAJAN R, RAJENDIRAN K.Video Compressed Sensing Framework for Wireless Multimedia Sensor Networks Using a Combination of Multiple Matrices[J].Computers & Electrical Engineering, 2015, 44:51-66. Google Scholar
[7]	TROCAN M, TRAMEL E W, FOWLER J E, et al.Compressed-Sensing Recovery of Multiview Image and Video Sequences Using Signal Prediction[J].Multimedia Tools and Applications, 2014, 72(1):95-121. doi: 10.1007/s11042-012-1330-7 CrossRef Google Scholar
[8]	孙宪坤, 陈涛, 韩华, 等.基于Kent混沌测量矩阵的压缩感知图像重构算法[J].计算机应用与软件, 2017, 34(4):213-220. doi: 10.3969/j.issn.1000-386x.2017.04.036 CrossRef Google Scholar
[9]	TSILIGIANNI E V, KONDI L P, KATSAGGELOS A K.Construction of Incoherent Unit Norm Tight Frames with Application to Compressed Sensing[J].IEEE Transactions on Information Theory, 2014, 60(4):2319-2330. doi: 10.1109/TIT.2014.2308171 CrossRef Google Scholar
[10]	SONG P, MOTA J F C, DELIGIANNIS N, et al.Measurement Matrix Design for Compressive Sensing with Side Information at the Encoder[C]//2016 IEEE Statistical Signal Processing Workshop(SSP). New York: IEEE, 2016. Google Scholar
[11]	LI S, GE G.Deterministic Construction of Sparse Sensing Matrices via Finite Geometry[J].IEEE Transactions onSignal Processing, 2014, 62(11):2850-2859. doi: 10.1109/TSP.2014.2318139 CrossRef Google Scholar
[12]	田沛沛, 刘昱, 张淑芳.一种基于LDPC矩阵的压缩感知测量矩阵的构造方法[J].电子测量技术, 2014, 37(3):43-46. doi: 10.3969/j.issn.1002-7300.2014.03.011 CrossRef Google Scholar
[13]	赵瑞珍, 王若乾, 张凤珍, 等.分块的有序范德蒙矩阵作为压缩感知测量矩阵的研究[J].电子与信息学报, 2015, 37(6):1317-1322. Google Scholar
[14]	MOUSAVI A, PATEL A B, BARANIUK R G.A Deep Learning Approach to Structured Signal Recovery[C]//2015 53rd Annual Allerton Conference on Communication, Control, and Computing (Allerton).New York: IEEE, 2015. Google Scholar

Message Board

Image Reconstruction of Compressed Sensing Based on Deep Learning Sparse Measurement

Abstract

References

Access History

通讯作者: 陈斌, bchen63@163.com

Article Metrics

Access History

Other Articles By Authors