下载:
-
传统的信号采样方式是基于Nyquist采样框架实现的，根据香农采样定理，若要从采样的离散信号中无失真地恢复模拟信号，则要求采样速率必须达到信号带宽的两倍以上[1-2]. 然而，在现实世界中，信号采集的成本很高. 为了解决这一问题，文献[3]提出了压缩感知理论，其核心思想是将压缩与采样相结合，突破了香农采样定理的瓶颈，使得高分辨率信号的采集成为可能. 从数学角度出发，压缩感知的核心思想为一个线性测量过程. 选取测量矩阵A∈
$\mathbb{R}$ m×n(m$\ll$ n)，可以得到信号x的测量信号y. 数学表达式如下：在实际应用中，存在一类信号，其非零元素呈现出特殊的结构，如块状结构[4]. 从数学的角度来讲，给定分块τ={d1，d2，…，dN}后，任意向量x∈
$\mathbb{R}$ n都可以被描述为$ \boldsymbol{x} = {(\underbrace {{x_1} \cdots {x_{{d_1}}}}_{\boldsymbol{x}[1]}, \underbrace {{x_{{d_1} + 1}} \cdots {x_{{d_1} + {d_2}}}}_{\boldsymbol{x}[2]}, \cdots, \underbrace {{x_{n - {d_N} + 1}} \cdots {x_n}}_{\boldsymbol{x}[N]})^{\rm{T}}} $ ,$n=\sum_{i=1}^N d_i$ [5]. 如果向量x在分块τ下至多有s个非零块，那么我们称该向量为块s-稀疏信号，记为‖x‖2.0≤s，其中$\|\boldsymbol{x}\|_{2.0}=\sum_{i=1}^N I\left(\|\boldsymbol{x}[i]\|_2\right)$ [6-7](此处I表示符号函数). 使用标准的凸规划来研究块稀疏信号忽视了信号的结构特性，不能很好恢复稀疏信号. 大量研究表明，在处理这样的块稀疏信号时，混合的$\frac{\ell_2}{\ell_1}$ 最小化问题优于$\ell$ 1最小化问题.为了使得欠定方程有唯一解，即便是在无噪声的情况下，通常需要对未知向量x进行一些结构性假设，最常见的结构性假设是x是稀疏的. 如果信号在某一个正交空间具有稀疏性，就能以较低的频率采样该信号，并可能以高概率精确重建该信号. 经典的变换方法包括离散余弦变换(DCT)[8]、傅里叶变换(FFT)[9]、离散小波变换(DWT)[10]等. 在上述环境中，如果矩阵A满足某些条件，如限制等距性质(RIP)[11]或限制特征值条件(REC)[12]，则可以保证x从y中有效恢复.
尽管x上的稀疏性假设是最常见的选择，但也可以从数据的特征中提取结构性假设. 基于生成模型的方法已经被广泛应用于压缩感知中，并表现出优异的结果[13]. 上述方法的局限性在于，将要恢复的信号限制在生成器函数G的范围内. 因此，如果检测到的真实信号不在G的范围内，则即使m
$\gg$ n，算法也无法将重构误差驱动为0. 为了克服这一缺陷，一种称为稀疏生成(Sparse-Gen)的框架被提出[14]. 具体来说，该框架允许恢复的信号在生成器G的范围内添加稀疏偏差，恢复的信号一般具有$G(\boldsymbol{\hat z}) + \boldsymbol{\hat \omega }$ 的形式，其中$\hat{\boldsymbol{\omega}} \in \mathbb{R}^n$ 是一个稀疏向量. 则有以下的优化问题：其中
$\|\boldsymbol{\omega}\|_1=\sum_{i=1}^n \mid \boldsymbol{\omega}_i|$ . 鉴于$\ell$ 1是$\ell$ 0范数的松散近似，基于$\ell$ 1最小化问题得到的解一般是次最优的，也有相关文章采用$\ell$ q范数对稀疏偏差进行约束，提出了基于生成模型的非凸稀疏偏差模型[15].在本文中，我们研究了基于生成模型的压缩感知块稀疏偏差模型. 在该方法中，我们使用
$\ell$ 2.1范数来约束偏差向量，其中G：$\mathbb{R}$ k→$\mathbb{R}$ n是生成函数，ω∈$\mathbb{R}$ n，A∈$\mathbb{R}$ m×n是测量矩阵，y∈$\mathbb{R}$ m是观测向量. 本文关心的模型是其中
$\|\boldsymbol{\omega}\|_{2.1}=\sum_{i=1}^N\|\boldsymbol{\omega}[i]\|_2$ ，y=Ax+ε. 基于上述问题的拉格朗日方程，考虑如下针对块稀疏生成的最终无约束优化问题：其中λ是拉格朗日常数. 我们给出了理论结果和仿真，在理论上，本文首先提出了针对块稀疏信号的块约束等距性质(B-RIP)和块有限等距性质(B-S-REC)，如果测量矩阵具有这两个性质，则最优解码的重构误差存在上界. 最后推导出在生成函数条件下以高概率成功恢复所需的测量次数. 在实验方面，为了进一步验证本文提出的Block Sparse-Gen的有效性和优越性，使用两个数据集(MNIST和CelebA)和两个生成模型(VAE和DCGAN)进行了一系列实验. 在测量次数相对较少的情况下，该方法的重建误差远小于基于LASSO的恢复、基于生成模型的恢复和稀疏生成.
全文HTML
-
定义1 BS
$\ell$ (0)={x：‖x-0‖2.0≤l}，其中$\|\boldsymbol{x}\|_{2.0}=\sum_{i=1}^N I\left(\|\boldsymbol{x}[i]\|_2\right)$ .定义2 (Block-RIP)对于参数α∈(0，1) 和一个给定的分块τ={τ1，τ2，…，τN}，如果对于所有的x∈BS
$\ell$ (0)满足下面的不等式，则我们说矩阵A∈$\mathbb{R}$ m×n满足B-RIP($\ell$ ，α)，定义3 (Block-REC)对于参数γ>0和一个给定的分块τ={τ1，τ2，…，τN}，如果对于所有的x∈BS
$\ell$ (0)满足下面的不等式，则我们说矩阵A∈$\mathbb{R}$ m×n满足B-REC($\ell$ ，γ)，定义4 (Block-S-REC)令S⊆
$\mathbb{R}$ n，对于参数γ>0，δ≥0和一个给定的分块τ={τ1，τ2，…，τN}，如果对于所有的x1，x2∈S满足下面的不等式，则我们说矩阵A∈$\mathbb{R}$ m×n满足B-S-REC(S，γ，δ)，
-
引理1 对于一个给定的分块τ={τ1，τ2，…，τN}，假设A∈
$\mathbb{R}$ m×n满足B-S-REC($S_{\frac{1.5 l}{d}, G}$ ，(1-δ)，τ)和$\mathrm{B}-\operatorname{RIP}\left(\frac{2 l}{d}, \delta\right)$ ，其中参数δ∈(0，1)，l>0. 给定一个函数G：$\mathbb{R}$ k→$\mathbb{R}$ n和测量噪声ε，‖ε‖2≤εmax. 则存在一个解码器Δ：$\mathbb{R}$ m→$\mathbb{R}$ n满足对于所有的x∈
$\mathbb{R}$ n都成立. 其中d是指每块所含元素的个数，这是个输入变量.$N=\left\lceil\frac{n}{d}\right\rceil$ 表示分块数.$C_0=2\left(\sqrt{(1+\delta)}(1-\delta)^{-1}+1\right)$ ，C1=2(1-δ)-1，τ′=τ(1-δ)-1.为了证明引理1，首先定义如下记号. 考虑到要在我们的分析中考虑测量噪声，我们将矩阵A的ε型管集定义为
定义一个差分函数G′：
$\mathbb{R}$ k×$\mathbb{R}$ k→$\mathbb{R}$ n如G′(z1，z2)=G(z1)-G(z2)，我们可以得到一个差分集BS$\ell$ ，G′记
为了证明引理1，我们先陈述并证明下面的引理2和引理3.
引理2 对于一个给定的分块τ={τ1，τ2，…，τN}，测量矩阵A∈
$\mathbb{R}$ m×n，测量噪声ε满足‖ε‖2≤εmax和一个生成器函数G：$\mathbb{R}$ k→$\mathbb{R}$ n. 在块稀疏向量集合$\mathrm{BS}_{\frac{l}{d}}$ 中，我们定义一个解码器Δ：$\mathbb{R}$ m→$\mathbb{R}$ n满足接下来的($\ell$ 2，$\ell$ 2.1)混合范数保证对于某些给定的常数C0，τ，t≥0. 这样的解码器存在的充分条件由下式给出
我们将其称为(
$\ell$ 2，$\ell$ 2.1)混合范数空间属性.证 为了证明零空间条件的充分性，我们定义一个如下的解码器Δ：
$\mathbb{R}$ m→$\mathbb{R}$ n，给定(
$\ell$ 2，$\ell$ 2.1)混合范数空间属性，我们将证明该解码器满足混合范数保证. 根据Δ的定义有这意味着
结合混合范数空间属性，我们有
倒数第二步可由三角不等式
$\sigma_{\frac{2 l}{d}, G^{\prime}}\left(\boldsymbol{x}_1-\boldsymbol{x}_2\right) \leqslant \sigma_{\frac{l}{d}, G}\left(\boldsymbol{x}_1\right)+\sigma_{\frac{l}{d}, G}\left(\boldsymbol{x}_2\right)$ 得到，最后一步由解码器是使得$\sigma_{\frac{l}{d}, G}(\boldsymbol{x})$ 达到最小的工具得到.引理3 对于整数a，b，l>0和函数G：
$\mathbb{R}$ k→$\mathbb{R}$ m，如果矩阵A∈$\mathbb{R}$ m×n满足B-S-REC$(\mathrm{BS}_{\frac{(a+b) l}{2 d}, G} $ ，1-δ，τ)和$\mathrm{B}-\operatorname{RIP}\left(\frac{b l}{d}, \delta\right)$ ，则对任意向量η∈TA(ε)有，其中
$C_0=(1-\delta)^{-1} \sqrt{(1+\delta)}, C_1=(1-\delta)^{-1}, \tau^{\prime}=\tau(1-\delta)^{-1}$ .证 对于任意的η∈TA(ε)和G(z1)，G(z2)，令
$\boldsymbol{v} \in \mathrm{BS}_{\frac{a l}{d}}$ 是使得‖η-G(z1)+G(z2)-υ‖2.1最小化的向量. 根据$\mathrm{BS}_{\frac{a l}{d}}$ 是一个闭集合，我们可以找到满足条件的υ. 取η-G(z1)+G(z2)这个向量的前最大$\frac{a l}{d}$ 块(即对块内元素求和后最大的块)，其余为零. 给定一个n维矢量的索引集I，我们用Ic表示不在I中的索引集. 注意到υ对应于η′=η-G(z1)+G(z2)的最大$\frac{a l}{d}$ 块，令其坐标对应的索引为$ \mathscr{T} $ 0. 将$ \mathscr{T} $ 1作为下一个最大$\frac{b l}{d}$ 块对应的索引. 类似的，将$ \mathscr{T} $ 2，…，$ \mathscr{T} $ s作为下一个最大$\frac{b l}{d}$ 块元素对应的索引. 设$ \mathscr{T} $ 0∪$ \mathscr{T} $ 1=$ \mathscr{T} $ ，用xI表示令集合Ic所有索引中x的值归零而获得的向量. 将η$ \mathscr{T} $ +(G(z1)-G(z2))$ \mathscr{T} $ c写为η$ \mathscr{T} $ -(G(z1)-G(z2))$ \mathscr{T} $ +(G(z1)-G(z2))，其中η$ \mathscr{T} $ ，(G(z1)-G(z2))$ \mathscr{T} $ ∈$\mathrm{BS}_{\frac{(a+b) l}{d}}$ . 将η$ \mathscr{T} $ -(G(z1)-G(z2))$ \mathscr{T} $ 写为s1-s2，其中s1，s2∈$\mathrm{BS}_{\frac{(a+b) l}{2 d}}$ . 综上所述，我们可以将η$ \mathscr{T} $ +(G(z1)-G(z2))$ \mathscr{T} $ c写为G(z1)+s1-(G(z2)+s2)，其中G(z1)+s1，G(z2)+s2∈$\mathrm{BS}_{\frac{(a+b) l}{d 2}, G^{\prime}}$ .接下来根据A满足B-S-REC
$\left(\mathrm{BS}_{\frac{(a+b) l}{2 d}, G}, 1-\delta, \tau\right)$ 的事实，有可以将η写为η=η
$ \mathscr{T} $ +η$ \mathscr{T} $ 2+…+η$ \mathscr{T} $ s. 再根据η∈TA(ε)，将Aη$ \mathscr{T} $ 表达为Aη$ \mathscr{T} $ =-A(η$ \mathscr{T} $ 2+…+η$ \mathscr{T} $ s)+γ，其中‖γ‖2 ≤ε. 因此，根据(18)，(19)两个不等式可以得到
在两边加上‖η′
$ \mathscr{T} $ c‖2并根据三角不等式可以得到对于任意的i≥1，j1∈
$ \mathscr{T} $ i+1和j2∈$ \mathscr{T} $ i，我们有‖η′j1‖2≤‖η′j2‖2，意味着‖η′j1‖2≤$\left(\frac{b l}{d}\right)$ -1‖η′$ \mathscr{T} $ i‖2.1. 对于$ \mathscr{T} $ i和$ \mathscr{T} $ i+1内的所有索引平方并且加上不等式可以得到结合(21)式可得
引理1的证明 结合引理2和引理3，令a=2，b=1，我们可以直接推导出引理1.
引理4 设G：Bk(r)→
$\mathbb{R}$ n为一个L-Lipschitz函数，其中Bk(r)={z|z∈$\mathbb{R}$ k，‖z‖2≤r}是$\mathbb{R}$ k上的$\ell$ 2范数球. 对于δ∈(0，1)，如果则对于一个给定的分块τ={τ1，τ2，…，τN}，伴随有独立同分布项
$\boldsymbol{A}_{i j} \sim \mathcal{N}\left(0, \frac{1}{m}\right)$ 的随机高斯矩阵A∈$\mathbb{R}$ m×n以概率1-e-Ω(δ2m)满足B-S-REC($S_{\frac{1.5 l}{d}, G}$ ，1-δ，τ)和B-RIP$\left(\frac{2 l}{d}, \delta\right)$ .为了证明引理4，我们先阐述下面的引理5和引理6.
引理5[14, 16] 设A∈
$\mathbb{R}$ m×n是一个带有独立同分布项$\mathcal{N}\left(0, \frac{1}{m}\right)$ 的随机高斯矩阵，δ∈(0，1)，如果则A至少以1-e-Ω(δ2m)的概率满足B-RIP(l，δ).
引理6 设A∈
$\mathbb{R}$ m ×n是带有独立同分布项$\mathcal{N}\left(0, \frac{1}{m}\right)$ 的随机高斯矩阵，G：$\mathbb{R}$ k→$\mathbb{R}$ n为一个L-Lipschitz函数，Bk(r)={z：‖z‖2≤r}为$\ell$ 2范数球. 如果则A至少以1-e-Ω(δ2m)的概率满足B-S-REC(G(Bk(r))，1-δ，τ).
引理4证明 我们在Bk(r)构建一个
$\frac{\tau}{L}$ 网M，则存在一个网络满足如下不等式，因为这个网是Bk(r)的一个
$\frac{\tau}{L}$ 覆盖，那么G(M)是G(Bk(r))的一个τ覆盖. 任取两点z1，z2∈Bk(r)，我们可以找到对应的两个点z′1，z′2∈M满足现在考虑索引集为I的块
$\frac{l}{d}$ 稀疏向量，索引集以外的元素都为零. 由三角不等式，我们可以得到再次由三角不等式，可以得到
由文献[13]引理8.3，我们有以概率1-e-Ω(m)满足
将这一事实应用于(29)式，则可以得到
对于固定的z′1与z′2，υ随着索引集的变化而变化. 由引理6，当
$m=O\left(\frac{l}{d \delta^2} \log \left(\frac{n}{l}\right)\right)$ 时，至少以1-e-Ω(δ2m)的概率满足如下不等式，最后我们对z′1，z′2和索引集I的选择进行联合约束(从
$\frac{n}{d}$ 个指标中选择$\frac{l}{d}$ 个). 设选择的总个数为N. 并且根据不等式$\left(\begin{array}{l}\frac{n}{d} \\ \frac{l}{d}\end{array}\right) \leqslant\left(\frac{n e}{d}\right)^{\frac{l}{d}}$ ，我们可以得到：则可以得到对于所有的z1，z2∈Bk(r)和υ∈
$\mathrm{BS}_{\frac{l}{d}}$ ，当以下不等式
至少以1-e-Ω(δ2m)的概率成立. 引理4得证.
结合引理1和引理4，我们可以得到如下所述定理1的结果.
定理1 对于给定的分块τ={τ1，τ2，…，τN}，假设G：Bk(r)→
$\mathbb{R}$ n是一个L-Lipschitz函数. 对于任意的δ∈(0，1)，l>0，设A∈$\mathbb{R}$ m×n是一个带有独立同分布项$\boldsymbol{A}_{i, j} \sim \mathcal{N}\left(0, \frac{1}{m}\right)$ 的随机高斯矩阵，其中假设Δ是满足引理1的解码器，则我们至少以1-e-Ω(δ2m)的概率有
对于任意的x∈
$\mathbb{R}$ n，‖ε‖2≤εmax，其中C0，C1，γ，τ′的定义参见引理1.
-
为了验证算法的有效性，本节将进行对比实验. 实验在Intel(R) Xeon(R) Gold-5122 CPU(3.6GHz)，64GB内存，Linux操作系统和python(3.7.4)构成的实验环境中运行. 在接下来的实验中，将使用两个不同的数据集：手写数字数据集MNIST和名人脸属性数据集CelebFaces Attributes Dataset(CelebA). MNIST数据集为手写数字，包含60 000个训练样本和10 000个测试样本. CelebA是一个大规模的面部属性数据集，其中包含10 177位名人身份的202 599张人脸图片，并且每个图像都标记有特征. 我们生成了一个高斯随机矩阵A，其每一项
$\boldsymbol{A}_{i j} \sim \mathcal{N}\left(0, \frac{1}{m}\right)$ . 在潜在变量生成模型(VAE与DCGAN)中，潜变量Z为各项同性的高斯向量. 为了评价实验效果，我们用$\|\boldsymbol{\hat{x}}-\boldsymbol{x}\|_2$ 表示不同测量值m的重构误差. -
MNIST数据集中每个图像的大小为28×28像素，并且每个像素值为0或者1. 对于这个数据集，我们根据Block Sparse-Gen来训练VAE，以恢复原始图像. 由于图像包含单个通道，因此输入尺寸为28×28=784，学习率为0.1，λ=0.1. 在CelebA数据集中，将人脸图像裁剪为64×64像素大小，使每个图像输入的尺寸为64×64×3=12 288，并将每个像素值缩放为[-1, 1]. 对于这个数据集，考虑根据Block Sparse-Gen模型训练一个DCGAN来恢复原始图像，同时会将结果与其他模型和算法进行比较. 对于Block Sparse-VAE，使用LASSO作为基准，并将其与基于生成模型的算法(VAE)和添加了稀疏偏差的生成模型(Sparse-VAE)进行比较. 对于Block Sparse-DCGAN，我们将结果与LASSO的结果进行了比较，LASSO的结果包含两个变换域：二维离散余弦变换和小波变换. 类似地，还将结果与基于生成模型的算法(DCGAN)和添加了稀疏偏差的生成模型(Sparse-DCGAN)进行比较.
-
为了探索每种算法的重建效果，对于MNIST数据集，我们在图 1展示重建的均方误差结果. 可以看出，与理论结果类似，随着采样数的增加，均方误差明显减少，并且Block Sparse-VAE模型相比其他的模型能够更可靠地重构未知样本. 类似地，我们给出了CelebA数据集的恢复结果，如图 2所示. 与MNIST数据集类似，本文算法明显优于LASSO等模型. 尤其是当测量次数较少时，具有独到的优势. 图 3和图 4展示了MNIST数据集在测量次数为80时的恢复效果以及CelebA数据集在测量次数为1 000时的恢复效果. 我们发现除LASSO外，其他方法恢复效果明显较好. 这足以说明一个与理论一致的结果，即在测量次数较少的情况下，基于生成模型的恢复方法的强先验完全优于基于LASSO的稀疏向量恢复方法. 另外可以发现我们提出模型的恢复效果优于其他的模型，显示了所提分块方法的有效性和优越性.
3.1. 实验设置
3.2. 重建结果
-
本文对基于生成模型的稀疏偏差建模进行了推广，提出了Block-Sparse Gen模型. 针对此模型，我们提出了Block-S-REC条件，结合Block-RIP条件推导了在生成函数的稀疏偏差范围内最优解码器的误差上界，并给出了原始信号高概率有效恢复的测量值次数
此结果在d=1时退化为稀疏生成(Sparse-Gen)的情况. 在数值实验中，我们提出的模型减少了成功恢复的测量值条件，提高了恢复效果.