An Image Fusion Algorithm Based on THT Mechanism Coupled with Gaussian Fuzzy Logic

形态学的基本操作为膨胀与腐蚀，通过膨胀与腐蚀组合可形成开、闭运算^[7].设大小为M*N的图像f(x，y)，S(u，v)为一个结构元素. f⊕S，f Θ S分别表示膨胀与腐蚀，其定义为^[8]

基于膨胀和腐蚀，先腐蚀后膨胀为开运算，先膨胀后腐蚀为闭运算.开运算$ f \circ S $、闭运算f·S可表示为

开运算使边缘平滑，闭运算能剔除小孔洞^[8].这2种运算交替使用，能在基本保证输入与输出图像中对象的外轮廓线一致的前提下平滑图像，去除或消减亮斑和暗斑.

THT是源图像与输入图像开运算的差，可分为白高帽变换(WTH)与黑高帽变换(BTH)，其定义分别为

开运算删除小于结构元素的明亮特征，从而平滑明亮区域，所以WTH主要是提取明亮区域，BTH主要是提取暗图像区域.

为了避免单一结构元素引起的兴趣特征遗漏，本文引入了一种多尺度的THT来改变结构元素的形状.然而，感兴趣的区域和周围地区之间的特殊信息没有得到很好的考虑，因为它们很难用相同形状的结构元素来区分^[9].为了提高THT在信息提取中的识别能力，设计了2种不同类型但结构元素相关的多尺度THT.可以有效地提取感兴趣区域和周围区域的识别信息，并保持其他区域特征良好.通过结构元素的双形设计，提出了一种改进的多尺度THT，它由2个不同但相关的内部结构元素(S_i)和外部结构元素(S_o)组成.需要注意的是，S_o的尺寸要大于S_i.设第一个结构元素为S_b，根据不同的应用，其大小可以由S_i变为S_o.第二结构元素称为边缘结构元素，定义为ΔS=S_o-S_i，挑选出感兴趣的区域及其周边区域之间有差别的信息. 图 1显示了正方形的双重结构元素. 图 1中L与W分别为S_b、ΔS的尺寸，ΔS中边距的大小设置为M.

基于新的双结构元素，新的开运算$ f \prec {S_{oi}} $与闭运算$ f \succ {S_{oi}} $分别为

其中，S_oi表示由S_o，S_i组成的双重结构元素集. $ f \prec {S_{oi}} $与$ f \succ {S_{oi}} $可分别用来平滑明亮和暗特征区域.不同于提取亮、暗特征区域的方法，本文提出了一种新的WTH，BTH，表示为WTH_N，BTH_N，定义如下

WTH_N，BTH_N能够在一定尺度上按照所使用的结构元素提取明亮和暗特征区域.

为了提高红外与可见光的融合性能，保持良好的可视化细节以及突出IR目标，设计了一种新的红外与可见光融合方案，其过程见图 2.具体步骤如下：

1) 利用改进的多尺度THT分别提取明亮、暗特征区域；

2) 利用多判别对比度融合规则，将红外和可见光图像在各个尺度上的亮度特征区域结合起来，通过所有尺度的明亮特征图像累加形成了最终的明亮特征图像.同理，可获得最终的暗特征图像；

3) 通过最大尺度结构元素的开、闭运算计算源图像的平滑明亮、暗图像，在平滑图像上通过高斯模糊逻辑融合规则获取基础图像；

4) 通过均值加权策略，将提取的明亮、暗特征图像与基础图像融合，得到最终图像.

为了获取源图像的多尺度区域特征，利用尺寸增加获得多尺度结构元素.假设L和W分别为初始结构元素S_b和初始边缘结构元素ΔS的大小，ΔS中边距为M，结构元素的尺度扩大n倍，每次扩大步长为B.因此，每个尺度λ的结构元素的大小可表示为

在尺度λ中，双结构元素表示为ΔS_λ，S_bλ.因此，ΔS_λ，S_bλ的大小可通过L_λ，W_λ来表示.

假设k个源图像f₁，f₂，…，f_k进行融合，则在尺度λ上新的THT提取明亮和暗的特征区域表示如下：

随着结构元素规模的增加，提取的特征区域将变得粗糙.然而，在高尺度提取的特征通常包含了低尺度的特征^[10].为了获得良好的特征信息，通过下列方法来获取明亮和暗的图像特征区域，将其视为图像细节和目标信息，即

其中，WTH_Nλ^g表示f_g在尺度1~λ的明亮特征. WTH_Nλ+1^g表示f_g在尺度1~λ+1的明亮特征；WTH_Nλ，λ+1^g为f_g在尺度λ~λ+1的明亮特征.同理，BTH_Nλ，λ+1^g为f_g在尺度λ~λ+1的暗特征.

明亮(暗)图像特征包含了源图像的主要特征和细节，特征图像融合的关键问题是源图像的提取信息是否被合理保留.为了加强像素之间的相关性，图像特征融合采用邻域特征区域进行处理，利用像素间的相关性得到融合因子.然而，由于单一融合规则容易丢失图像细节，降低噪声抑制能力^[11].因此，从多个融合规则中判断最优融合值是解决单一规则缺陷的一个很好的方法.区域能量和区域清晰度可以很好地表达提取的图像特征，并最大限度地在每个个体尺度上实现相对信息的最大化.

1) 基于区域能量对比的融合准则^[12]：计算在同一尺度上提取红外和可见光(暗)特征的区域能量，表示如下：

其中，E^VI(x，y)，E^IR(x，y)分别为可见光特征与红外特征，C_A(x，y)为区域能量对比度.如果C_A(x，y)＞1，表明可见光特征区域能量对比度大于红外特征区域能量，可从可见光特征区域选择特征值.反之，选择红外特征.

2) 基于区域清晰度对比的融合规则^[12]：

其中，Q(x，y)为特征图像中每个像素的清晰度.区域清晰度的对比度C_B(x，y)表示为

其中，Q^VI(x，y)，Q^IR(x，y)分别为可见光特征与红外特征.如果C_B(x，y)＞1，可见光区域清晰对比度大于红外特征，选择可见光特征.反之，选择红外特征.

为了选择一个最大的区域对比度C(x，y)，将C_A(x，y)与C_B(x，y)比较，即

最后，根据得到的C(x，y)，获得每个尺度的融合特征图像(WF_λ，λ+1，BF_λ，λ+1).

为了整合所有尺度的明亮和暗的特征区域，将所有的WF_λ，λ+1，BF_λ，λ+1结合起来，定义如下

其中，WF，BF分别为最终融合明亮和暗特征图像.

Gaussian模糊逻辑(Gaussian Fuzzy Logic，GFL)的性能与平滑的红外图像的直方图特性关联密切，GFL可以对红外图像的目标和背景有很好的描述^[13].对于平滑的IR图像的不确定性，其对目标设置大的权值，对背景设置小的权值.因此，GFL可以用来突出目标信息和抑制红外背景，然后，有效地从平滑的红外图像中区分目标与背景.基于自适应加权平均规则，使得平滑的可见光图像得到适当的权重，突出背景细节.因此，融合的基础图像可以增强红外目标和保持清晰的背景细节.此外，GFL的融合规则可以减少基础图像的歧义和冗余.

基于Gaussian模糊逻辑的图像融合过程如下：

首先，通过使用最大尺度结构元素S_bn的开、闭操作来获得平滑的红外(可见光)的明亮和暗图像，表示如下：

其中，O_IR，O_VI分别为平滑后的红外明亮图像、可见光明亮图像；C_IR，C_VI分别为平滑后的红外暗图像、可见光暗图像.

其次，通过使用高斯模糊逻辑与自适应加权平均将平滑的明亮的图像相结合，表示为：

其中，ω_T，ω_B是平滑的红外和可见光图像中目标和背景的隶属度(权重)，ω_T可突出红外目标信息并抑制红外背景；ω_B则是用于突出可见光图像的背景细节.因此，融合图像O(x，y)可以在红外图像中保持明亮的目标并在可见光图像中突出背景细节，

再结合平滑亮图像O(x，y)、暗图像C(x，y)，利用公式(25)可使得到的基础图像突出红外目标，强调可见光图像的背景细节

由于均值加权融合方法具有自适应地调整输入明亮和暗图像的特点，可以很好地为基础图像引进有用的明亮和暗特征，提高融合图像的局部对比度.因此，基于均值加权融合方法，联合基础图像A(x，y)，明亮特征区域WF和暗特征区域BF，可获得最终的融合图像：

其中，m_w，m_b分别为WF，BF的平均值；A(x，y)为基础图像；f_u(x，y)为最终融合图像.

为测验算法的性能，借助MATLAB 2012软件对IR-VI图像进行融合测试，测试图像大小为256*384.测试条件为：Intel Core I3，3.30GHz处理器，8GB ROM，Windows 8系统.为体现算法的优越性，选取当前常用的3种方法比较：文献[4]、文献[5]、文献[6].为了取得最优的实验效果，通过多次实验得出的参数设置如下：L=W=5，M=2，步长为2，最大扩张倍数为5.

为对图像定量评价，本文选用常见的4种客观指标：标准差(SD)、边缘信息评价因子(EIEF)、联合熵(UE)、结构相似度(SSIM)，利用这4种客观评价指标分析不同方法的性能，分别表示如下：

1) SD为图像灰度值相对于灰度平均值的分布情况.灰度值分布越广，SD越大，图像分辨率越大，图像质量越好，SD表示为^[14]

2) EIEF为源图像与融合图像边缘细节传递的指标，EIEF从0~1变化，越接近1表明传递性越好，EIEF表示为^[15]

其中，Q_AF，Q_BF是源图像与融合图像的边缘保持度，g_A，g_B为源图像的边缘强度.

3) UE为融合图像F与源图像A，B间的关联性，UE越大，融合效果越好，UE表示为^[16]

其中，P_F，A，B(i，j，k)为待融合图像A，B与F的联合概率密度.

4) SSIM是反应图像亮度、对比度与结构的因子，SSIM越大，图像越好，SSIM表示为^[17]

其中，μ_x、μ_y表示平均亮度；σ_x、σ_y和σ_xy表示标准差.

图 3为可见光-红外图像融合结果. 图 3(a)、(b)分别为可见光(VI)与红外(IR)图像，在IR图中能清楚地观察到一个人体，但其他场景模糊(树木、道路、房屋等)；VI图像可较好地显示场景，但无法显示隐藏的目标. 图 3(c)-(f)分别为通过几种算法得到的IR-VI实验结果.从图 3中得出，图 3(c)中出现了伪Gibbs效应，图中的人物不明显，场景中的树丛、道路、房屋等比较模糊，视觉效果不佳. 图 3(d)中对比度偏低，人物目标和场景中的树丛、道路、房屋等信息不够清晰，细节不够丰富. 图 3(e)中基本上显示了红外目标与场景信息，但是一些局部细节不清晰. 图 3(f)为本文算法得到的融合结果，从图中看出其很好地保持了IR的红外目标与VI的场景信息，清晰地显示了运动的人体和树丛、道路、房屋等信息.并且图像的对比度良好，细节丰富，符合视觉效果(见图中矩形框显示).主要原因是本文中为了有效地提取源图像的特征信息和细节信息，在传统的THT机制中引入了多尺度计算，分别在不同尺度上提取红外和可见光图像的不同度亮(暗)特征区域.通过多判断对比融合规则对2个图像中的同一尺度的特征区域结合，将所有尺度上的特征图像累加得到了特征图像.再通过最大尺度结构元素的开、闭运算得到源图像的平滑明亮、暗图像，在平滑图像上通过Gaussian模糊逻辑融合规则获取基础图像，突出了目标信息和抑制红外背景.最后，将提取的亮与暗特征图像导入基础图像中形成最终融合图像.而文献[4]易产生伪Gibbs效应，影响整体的视觉效果.而文献[5]基于WT方法只能得到水平、垂直、对角线的子带，其方向信息不足，一些细节信息无法表示.文献[6]算法中基于PCNN与NSCT技术，计算复杂、参数设置麻烦，易产生伪轮廓，边缘等细节显示不够理想.

为客观表示图像的质量，利用评价指标SD，EIEF，UE，SSIM对图 3中的结果定量测量，见表 1.同时，为了对比计算效率，对算法的运行时间进行比较.从客观评价中得知，相对于其他算法，本文算法的SD，EIEF，UE，SSIM值均取得一定的优势，与图 3结果一致.因此，本文算法具有优异的融合效果.此外，从表 1看出，本文方法的时间为6.88 s，效率较高.

图 4为一路口的IR-VI融合结果. 图 4(a)、(b)分别为可见光(VI)与红外(IR)图像，VI图像能显示光照较好的部位，其他部位较模糊；IR图像显示了场景总温度不均的问题. 图 4(c)-(f)分别为通过几种算法得到的IR-VI实验结果. 图 4(c)中产生斑块效应，红外目标模糊，效果不佳. 图 4(d)、4(e)中对比度偏低，场景中的路灯、汽车等信息不够清晰，细节不够丰富. 图 4(f)保持了良好的IR目标与VI场景信息，对比度良好，细节丰富，符合视觉效果，见图中矩形框.

为客观地表示图像的质量，利用评价指标SD，EIEF，UE，SSIM对图 4中的结果定量测量，见表 2.同时，为了对比计算的效率，对算法运行时间进行比较.从客观评价中得知，相对于其他算法，本文算法的SD，EIEF，UE，SD值均取得一定的优势，与图 4结果一致.因此，本文算法具有优异的融合效果.此外，本文方法的时间为6.93 s，效率较高.

本文设计了一种新的红外-可见光图像融合算法，在传统的THT机制中引入了多尺度运算，利用区域能量和区域清晰度的对比度融合规则有效地保持重要的特征和细节，并最大限度地在每个个体尺度上实现相对信息的最大化.对于基础图像，引入Gaussian模糊逻辑来突出目标信息和抑制红外背景，从平滑的红外图像中区分目标与背景.最后，通过均值加权策略，将提取的明亮、暗特征图像与基础图像结合，得到最终的融合图像.实验证明了本文算法具有优异的融合性能，清晰地显示了IR目标与场景细节信息，视觉效果良好.