-
遥感图像分为高空间分辨率全色图像(panchromatic image,PAN)和高光谱分辨率多光谱图像(multi-spectral image,MS)[1].由于现有技术的局限,遥感卫星很难同时获取具备高空间分辨率和高光谱分辨率的遥感图像.在图像处理中,将具有良好光谱信息的多光谱图像与具有良好空间信息的全色图像进行融合,可以有效提高遥感图像质量[2-3].
为了满足众多领域对高分辨率和高空间率遥感图像的需求,研究人员已经提出许多遥感图像融合方法,主要分为3种:成分替代方法、多分辨率分析方法和基于物理模型方法[4].成分替代方法是将多光谱图像变换到空间成分与光谱成分分离的新空间上,利用经过处理的全色图像对空间成分进行增强,然后经过逆变换得出具有高空间分辨率的多光谱图像.最广泛使用的成份替代方法主要是主成分分析(principal component analysis,PCA)[5]和IHS(亮度Intensity、色调Hue、饱和度Saturation)方法[6]等,这些方法操作简单,可以有效地消除部分冗余,但是存在容易产生光谱扭曲,空间分辨率不高的问题.多分辨率分析方法采用多尺度分解方式,对目标图像进行多分辨率分解,将提取到的全色图像中的高频信息及相关细节注入多光谱图像.最常用的多分辨率分析方法如非下采样Contourlet变换[7]、小波变换[8]等在融合时会引入较多的人为噪声.基于物理模型的融合方法是根据物理模型采用不同技术手段对低分辨率的多光谱图像进行修复,从而获得具有高分辨率的多光谱图像.该类方法的主要代表为基于压缩感知技术[9]和稀疏表示[10]的融合方法,能够在一定程度上提高遥感图像的融合效果,但是也存在细节丢失的问题.
目前,大多数遥感图像的融合方法都存在图像光谱失真和边缘细节丢失的现象,只是在失真量上有所不同而已.针对上述问题,本文提出一种基于鲁棒自适应归一化卷积的全色与多光谱图像融合算法,该算法在小面模型(Facet Model)中引入基于归一化卷积的结构自适应函数,提高有效样品的可信度,减少边缘模糊和细节丢失现象的发生.
全文HTML
-
小面模型(Facet Model)原理是假设将一幅图像划分为若干个连接的区域,满足一定形状限制和灰度分布的单个区域定义为一个Facet[11].灰度分布要求每个Facet的灰度函数是其对应区域内像元行与列的多项式函数,因此可以使用若干个相互连接的Facet来近似一幅图像. Facet模型可以根据灰度函数次数的不同,分为平面或斜面模型,二次或三次模型等.一个二维Facet模型可以通过二元三次多项式逼近二维像素邻域中的灰度值.
式(1)中:r和c表示局部图像的像素坐标,ki表示拟合系数.
-
归一化卷积[12]是一种依赖于信号模型及其可信度的技术,可以定义为一种利用一组基函数的投影对信号进行建模的方法.考虑基本多项式基:{1,p,q,p2,q2,pq,…},其中1=[1,1,…,1]T,p=[p1,p2,…,pN]T,q=[q1,q2,…,qN]T,p2=[p12,p22,…,pN2]T由N个输入样本的局部坐标构成.将此多项式基函数用于归一化卷积,使其与泰勒级数展开式相似.再聚焦于a0={p0,q0}的局部邻域内,通过多项式估计a={p+p0,q+q0}位置的强度值.
式(2)中:局部坐标是相对于中心点a0的N个样本的{p,q}. m0(a0)=[m0,m1,…,mn]T(a0)是投影系数.在小面模型中对所有邻域样本按相同比例应用权重,而归一化卷积则采用一个可使多项式拟合局部化的适用函数.适用函数m0(a0)一般为高斯函数,其大小与分析尺度相当.在正则化卷积中使用的每个输入信号都允许有自己的确定值.
根据应用类型和处理速度的需要,可以选择多项式的阶数.复杂结构在更高阶的归一化卷积下得到拟合,从而在计算量上得到折衷.由于高阶比原始信号更适合噪声,通常选择一阶归一化卷积.插值的质量也取决于适用函数的规模.为了实现平衡的局部分析,适用性函数必须足够大,以包含足够数量的样本.插值结果应具有最小的模糊性和覆盖大样本,一般采用高斯适用函数实现该目的.
为了求解a0位置处的投影系数,将在以a0为中心的适用函数s上逼近近似误差.
式(3)中:信号0≤c(a)≤1的可信度表示在a处测量的信任值,0表示不可靠数据,1表示可靠数据.在包含N个样本的邻域中,最小二乘回归解的矩阵形式为
式(4)中:M是具有输入强度f(a)的q×1矩阵,X=[x1,x2,…,xp]表示在输入的N个采样点处基函数p的q×p矩阵. W=diag(s)·diag(c)是一个q×q对角矩阵,由函数s与信号可信度的乘积生成.
在定期采样数据和固定适用性函数的情况下,可以通过使用卷积运算来实现归一化卷积.使用卷积后式(4)可以简化为
式(5)中:
$\hat f $ 表示插值图像,c·f是图像可信度和强度值的逐像素乘积,⊗是卷积算符.一阶归一化卷积需要9次卷积,并且生成3个图像,分别为插值图像$\hat f $ 1,$\hat f $ p,$\hat f $ q,并由以下方程给出.式(6)中:p,q,p2,pq以及q2被称为二维基函数的核.信号可信度值中的非均匀性可以通过使用归一化项进行校正,归一化项是式(5)中的分母项和式(6)中的逆元项,即为归一化卷积.
1.1. 小面模型
1.2. 标准归一化卷积
-
本文采用两步高分辨率方法,如图 1所示.第一步执行图像配准过程,使用梯度移位估计器将全色图像和多光谱图像对齐到公共帧,以达到亚像素的精度.第二步是融合过程,包括3个中间阶段,即加权中值、稳健归一化卷积和自适应归一化卷积.中值滤波器构造鲁棒归一化卷积所需的第一估计HR0.鲁棒归一化卷积使用该估计值,并生成高分辨率图像的改进估计HR1以及2个指令HRp和HRq.自适应归一化卷积利用p和q方向的指令构造适用函数.
在归一化卷积的情况下,信号的可信度需要预先知道.因此,在a0位置展开多项式之前引入邻域像素光度加权方案[12],保证邻域获得可信度.此处的可信度是残差f-
$\hat f $ 的高斯函数,并通过分配低权重来消除之间的异常值.式(7)中:f(a)和
$\hat f $ (a,a0)是测量和估计的强度,强度估计是利用s0中心处多项式展开进行的.$\hat f $ (a,a0)的适宜范围由光束扩散σr决定,当残差小于σr时,样品的可信度接近1,而残差大于2×σr的样品可信度很低.局部平面的一阶二维归一化卷积至少需要3个样本.在一般情况下,由于邻域是局部算子,所以需要对其进行运算.当样本数足够时,适用函数的尺度很小.因此,需要一个锐化重建过程.在输入样本数不足的情况下,应使适用函数更大,以容纳足够的样本,实现稳定的多项式拟合.因此,本文提出了一种针对边缘增强融合过程的自适应适用函数,该函数可为小细节感知的应用提供清晰的图像.
本文提出的自适应适用性函数是高斯函数,通过适当改变主轴来调节局部有效方向.
式(8)中:a0={p0,q0}为中心点,根据局部尺度σc,适用函数s通过调整自身大小来收集足够数量的样本. σu和σv是关于局部尺度σc定义的有向高斯核,其定义为
式(9)、式(10)中:自适应参数σ>0,作为适用函数偏心率的上限.当A=1/2时,本文认为最大偏心距的自适应参数σ=1/2.选择A=1/2的原因,是在鲁棒归一化卷积之后进行了第二次归一化卷积.
-
本文所有实验在一台配置为Intel Xeon E5-2698 (20-Core) CPU @2.20 GHz和NVIDIA Tesla V100 4×16 GB GPU的NVIDIA DGX工作站上进行.采用图 2图像进行自适应归一化卷积融合实验,并将其与色调饱和和Haar变换联合方法(IHS_HW)[6]、非下采样Contourlet变换(NSCT)[7]以及多分辨率奇异值分解方法(MSVD)[13]的实验结果进行对比.
图 2实验图像的具体参数[14]为:由卫星worldwiew-2拍摄的一组分辨率分别为2 m和50 cm的多光谱图像和全色图像.在测试过程中,鲁棒归一化卷积的适用性函数范围固定在σu=σv=1,光度扩展设置为16位输入图像范围的1%(σr=500).为了更好地评价去雾算法的性能,本文从定性和定量2个方面进行评估.
-
图 2给出了不同融合算法在实验图像中的测试结果.从图 2中可以看出,本文的鲁棒自适应归一化卷积方法具有较高的细节层次.定量分析结果表明,自适应归一化卷积方法在重建质量和纹理细节方面更优于其他方法.
-
为了进一步验证,本文利用均方根误差(RMSE)、拉普拉斯均方误差(LMSE)、归一化绝对误差(NAE)和相对平均光谱误差(RASE)4个评价指标[15]来验证算法的有效性.
均方根误差(RMSE)是观测值与真值偏差的平方与观测次数n比值的平方根,其值越大说明融合图像越偏离真实值.
式(11)中:f(xi)和g(xi)分别表示复原图像和原始图像.
拉普拉斯均方误差(LMSE)表示原始图像与融合图像的局部对比度,其值越大,图像的降质越大.
式(12)中:
归一化绝对误差(NAE)将融合图像的平均绝对误差对原始图像的均值归一化,其值越低,说明融合图像效果越好,该度量定义为
相对平均光谱误差(RASE)是衡量融合图像光谱质量的一种度量,其值越低,说明融合图像的光谱质量越高,定义为
式(14)中:M表示原始多光谱图像N个光谱波段的平均辐射值,xi(i=1,2,3)分别对应R,G,B波段.
表 1给出了基于上述参数的现有图像和本文方法图像的定量结果.重建图像的均方根误差、拉普拉斯均方误差、归一化绝对误差和相对平均光谱误差值越小越好.定量性能测量表明,本文的鲁棒自适应归一化卷积方法优于其他现有方法,其误差较小.
3.1. 定性分析
3.2. 定量分析
-
本文提出一种基于鲁棒自适应归一化卷积的全色图像与多光谱图像融合方法,解决了遥感图像融合过程中出现的光谱信息失真和边缘细节丢失的问题.具有鲁棒多项式拟合的自适应适用函数是该方法的新颖之处.适用性函数的扩展和收缩特性使其更具优势,并避免了沿直线和边缘的模糊.由于强度分布在局部分析中被充分忽略,有效的样本确定性减少了角点模糊和更精细的细节.实现结果表明,本文的融合算法性能优于其他算法,而且该方法不仅适用于融合过程,还可以推广到图像修复、双边滤波、运动估计等领域.