下载:
-
随着成像技术的发展，医学图像在临床检查、诊断中具有举足轻重的地位.然而，不同成像技术所形成的图像质量均存在一些瑕疵[1].例如，电子计算机断层扫描(Computerized Tomography，CT)图像具有优异的空间密度分辨率与几何特性，可清晰地查看骨骼组织[2].但是，软组织密度差异小，对X线吸收程度基本一致，使得CT对软组织的表现力不太理想.核磁共振(Magnetic Resonance Imaging，MRI)图像能很好地显示软组织，较容易寻找病情范围[3]，但MRI对骨骼的表现能力不佳.计算机断层成像(Single Photon Emission Computed Tomography，SPECT)可以较好地表现人体不同组织的活性强度和代谢功能[4].可见，每个图像模态具有其特定的属性，通过一定的方法可将不同图像结合起来，融合互补信息形成一幅新的图像，可以有效提升新图像的表达能力，为后续的图像分析提供准确的参考依据.因此，医学图像融合方法在病灶定位、诊断、远程医疗等领域应用前景远大[5].
近年来，人们设计了一系列图像融合方案.如戴文战等[6]设计了一种人眼视觉特性的NSCT图像融合方案.该方案先对待融合图像完成NSCT多尺度分解，获得低频与多个高频方向系数.对于低频系数，利用区域能量与平均梯度共同作用进行信息聚合.对于高频系数，采用区域Laplace能量、方向对比度与PCNN 3种算子完成系数融合.该方法能够较好地保留灰度图像的信息，但在边缘过渡区易出现伪轮廓与人造纹理现象.另外，算法较复杂，时间成本较大.文献[7]设计了分类块稀疏表示的医学图像融合方案，在该方法中，首先根据块几何方向将源图像划分为分类子块，并通过在线字典学习(ODL)算法训练相应的子字典，然后采用最小角度回归算法对每个块进行稀疏编码，再利用组合稀疏系数与相应的子字典对结合后的图像进行重构.该算法融合规则较单一，虽然具有较高的效率，但是易丢失纹理信息.文献[8]提出基于非下采样剪切波变换(Non-Subsampled Shearlet Transform，NSST)的图像融合方案.该方案从多个方向、多个尺度上来完成图像的分解，因此，其不存在方向制约，对边缘有优异的稀疏表示能力.同时克服了提升小波变换的缺点.但是，该方案在实时性方面不太理想，在NSST分解过程耗时较多.此外，针对医学图像复杂多变，在区域纹理稀疏表示方面，NSST还需进一步加强.
针对上述涉及的医学图像融合方法中存在的不足，本文在四元数离散傅立叶变换的基础上，设计了一种新的医学图像多模式融合方案.通过QN虚数来映射像素的R，G，B分量，并将每个块转换为QN表示；再引入QDFT，将每个RGB块从空域变换到频域，通过测量和比较源图像的对比度值来形成融合系数；最后，对算法的性能进行验证与分析.
全文HTML
-
四元数(Quaternion Numbers，QN)是复数的一种推广形式，由4部分组成，即1个实数部分和3个虚数部分[9]：
其中，w，x，y，z为实数部分，i，j，k为虚数部分，三者满足如下关系：
根据上述公式，则四元数的共轭和模分别为
具有实数部分的QN称为纯QN，而具有单位模数的QN则称为单位纯QN，其函数为
四元数也可以表示为它的向量部分和标量部分之和，标量部分表示实部，而向量部分表示四元数的三个虚数部分，则
其中，S(q)为标量部分，可表示为S(q)=w；V(q)为向量部分，表示为V(q)=xi+yj+zk.
对于一个给定的q=w+xi+yj+zk，可转换为极坐标表示q=|q|eμφ.其中，幅值|q|=$\sqrt{w^{2}+x^{2}+y^{2}+z^{2}}$；相位μ=V(q)/|V(q)|；相位角φ=artan|V(q)|/S(q).当|q|=1时，q为一个单位四元数.当w=0时，实数部分为0，那么q为一个纯QN.
在图像处理中，通过将彩色图像分割为各个相似纹理区域，借助四元数表示，可将彩色图像矩阵元素作为一个整体进行信息融合.因此，使用一个纯QN来表示彩色图像是十分有效的.
彩色图像通常是由3个单独的颜色通道构成，分别是R，G，B分量.四元数有4个部分，q=w+xi+yj+zk.因此，彩色图像的像素可以定义成QN：w=0，x=R(x，y)，y=G(x，y)，z=B(x，y).一个完整的彩色图像可以通过在纯QN的虚数部分映射R，G，B分量来表示[10]：
其中，R(x，y)表示像素的红色分量；G(x，y)表示像素的绿色分量；B(x，y)表示像素的蓝色分量.若将大小为M×N的2个彩色图像定义成QN矩阵A，D∈RM×N.则这2个四元数矩阵的互相关可定义为
其中，x是矩阵的行索引；y是矩阵的列索引.将RGB图像表示为四元数，能够将R，G，B三分量作为整体来实现信息互补，可以提高图像的融合质量.
-
傅立叶变换(Fourier Transform，FT)是图像和信号处理中应用最广泛的方法之一[11].为了提高FT的效率，学者们又提出了快速FT，并利用计算机来计算离散傅立叶变换(Discrete Fourier Transform，DFT).提取彩色图像的R，G，B通道后，可以对每个通道分别应用DFT.但是，彩色图像通常由3D像素构成，因此，无法通过单一的复数完成变换.所以，DFT不能处理整体的彩色图像.为此，学者提出了一种四元数DFT(QDFT)，其利用彩色图像的QN来表示图像的矢量场，从而实现DFT变换. QDFT将图像作为一个整体运算，为彩色图像处理提供了一种新的思路[12].与复杂的DFT相比，QDFT所需的实数乘法和物理内存更少，因此它具有更高的计算效率.其对应的左、右侧及双侧QDFT分别为
为了重构图像，其对应的逆变换为
其中，f(x，y)是大小为M×N的图像的QN表示；μ为确定空间方向的单位纯QN.
-
本文所提算法的目的是在QDFT域中为医学图像融合提供一种新方法，其过程见图 1.一个图像的QDFT可产生3个频率系数(低频，中频和高频)，在低频系数中聚集了大量的能量.基于频带的每个系数集可以定义对比度测量函数.一个大小为N×N的图像块可被划分为N×2-1个频带，其中最低位置的频带包含最低的频率系数，最高位置的频带包含最高的频率系数. 图 2显示了1个QDFT块和2个频带.
由于该算法通过测量和比较源图像对应系数的对比度值来融合源图像.因此，需要计算系数的对比度：
其中，Vk为频带k的平均振幅，其定义如下：
其中，T表示剩余频带的个数.设t为变换图像块的大小. T的值可表示为：当k < t，T=k+1；当k≥t，N=(t-1)×2-k+1.
在QDFT过程中，如果不分块，则很容易出现额外的噪声和颜色失真现象.因此，本文将源图像分割成较小的子块，以避免颜色失真.本文融合算法的主要过程如下所示：
1) 设A′，B′为2幅大小为m×n的图像，并分割成N′个小块，每个块的大小为s×s.
2) 通过对四元数的虚数分量上像素的R，G，B进行映射，将每个块用四元数来表示.
3) 设M=mi，j，N=ni，j分别为源图像的2个四元数块.
a.利用QDFT将M和N从空域变换为频域.
b.利用公式(13)与(14)计算块M和N中所有像素的对比度，并构造2个矩阵CM和CN，以存储对比度值.
c.根据矩阵CM和CN，设计融合规则，获得大小等于s的融合块：
4) 重复步骤3，直到所有的子块均被处理完，输出一系列的融合块.
5) 应用逆QDFT变换作用于融合块，再组合输出结果，形成融合图像.
-
为验证所提算法的有效性，选取不同的医学图像进行2组测试，并分析了实验结果.第一组为SPECT-T1与SPECT-TC融合；第二组为MRI与PET融合，分别称之为实验1、实验2.测试平台为：Intel(R) Core(TM)I5-4150CPU，3.2GHz四核，4GB ROM，NVIDIA Geforce GTX 1050Ti 4G DDR5显卡，Windows 8系统，借助Matlab 2012a进行仿真分析.为体现算法的先进性，选择常用的图像融合算法作对照组：文献[6]、文献[7]、文献[8].算法中参数设置如下：图像大小为m×n=256×256 px；N′=256；s×s=16×16 px.
-
为准确衡量融合算法的性能，选取4种常见的质量评价标准对融合图像进行量化. 4种评价标准分别为：平均梯度(Average Gradient，AG)、信息熵(Information Entropy，IE)、边缘强度(Edge Strength，ES)、峰值信噪比(Reak Signal-to-Noise Ratio，PSNR).
AG主要反映图像中细微特征差异，AG越大，说明图像越清楚，其定义为[13]
ΔIx(i，j)与ΔIy(i，j)分别为图像X，Y上的差分.
IE反应信息量的多少和色彩的丰富度，IE越大，信息越丰富，定义如下[14]：
其中，p(k)表示灰度为k的概率；M表示最大灰度级.
ES反应了输入图像与融合图像边缘信息的相对值，定义如下[15]：
其中，QXF(i，j)，QYF(i，j)分别表示图像X，Y的边缘保持值，wX(i，j)，wY(i，j)分别为QXF(i，j)，QYF(i，j)的权重. ES的值越高，表示图像边缘质量越好.
PSNR为图像信噪比变化的平均计算，PSNR越高，其质量越好，定义如下[16]：
其中，S为方差；Maxu2代表最大信号值；M×N为图像尺寸；u为初始图像；u0为融合图像[17].
-
图 3为来自同一部位的SPECT-T1与SPECT-TC融合结果.其中，图 3(a)为SPECT-T1、图 3(b)为SPECT-TC，图 3(c)-3(f)分别为文献[6]、文献[7]、文献[8]以及本文算法得到的融合结果.由图 3可知，文献[6]得到的图像分辨率较低，细节与纹理模糊，对比度与饱和度不理想，整体视觉效果不佳，无法很好地结合原图像中SPECT-T1与SPECT-TC的有用信息[18].文献[7]、文献[8]得到的图像质量优于文献[6]，能够在一定程度结合源图像的有效信息，比较清楚地显示了目标的组织与结构，但是对于某些局部区域显示不清晰，纹理丢失，且细节不够丰富，易忽略灰暗过渡区域，见图中红色区域. 图 3(f)表示本文算法的融合结果，可看出其很好地融合了源图像的信息，色彩丰富，纹理与边缘清晰，对比度与饱和度符合视觉效果.主要原因是因为本文算法通过QN虚数映射像素的R，G，B分量，将每个块转换为四元数表示[19]；然后，引入QDFT，将每个RGB块从空间域变换到频率域，通过四元数表示有效地保证了RGB各分量间的关联性，根据图像在形状与质量分布上的信息，得到了图像的空间变换关系[20]；再测量和比较源图像对比度值来得到融合QDFT系数，从而提高了融合质量.而文献[6]主要是借助NSCT多尺度分解来完成信息融合，在边缘过渡区易出现伪轮廓与人造纹理，且对彩色图像的颜色保留不足.文献[7]采用了图像块稀疏表示的医学图像融合方案，由于该算法融合规则较单一，虽效率得到提升，但是易使得纹理丢失.对于医学图像中灰暗过渡区，容易产生信息失真与扭曲.文献[8]采用了基于NSST的图像融合方案，该方案对于医学图像复杂多样性融合效果不足，对色彩与结构信息表现较弱.
图 4为来自同一部位的MRI与PET融合结果. 图 4(a)，4(b)为MRI，PET；图 4(c)-4(f)分别为文献[6]、文献[7]、文献[8]，以及本文算法得到的融合结果.根据图 4可知，本文方案融合的MRI与PET色彩丰富，细节与纹理清晰，对比度与饱和度均良好，可更好地表示源图像中的有用信息.而对照组算法中融合效果欠佳，纹理与细节扭曲，清晰度不够.
-
为定量评价算法的融合性能，借助4.1中的评价标准对图 3与图 4的结果进行测量，结果见表 1、表 2.从表 1、表 2中可以看出，本文融合方案获得的AG，IE，ES，PSNR定量测量结果均优于其他方案.这表明本文方案的融合性能具有一定的优越性，其获得的图像信息量、边缘与纹理良好.此外，为体现4种算法的效率，表中还统计了实验1与实验2的时间消耗.从时间统计结果可知，本文方案耗时最短，效率较高.主要原因是本文通过四元数来表示RGB彩色图像，QDFT将图像作为一个整体处理，其为彩色图像处理提供了广阔的可能性.相比复杂的DFT，QDFT所需的实数乘法和物理内存更少，因此具有更高的计算效率[21].文献[6]采用NSCT操作，算法较复杂.文献[7]采用额稀疏编码，提高了效率，但是其融合质量不高.而文献[8]算法采用NSST分解，在实时性方面不太理想.
为进一步衡量融合算法的性能，本文测试4种融合算法的抗噪性能.本实验以实验1中的图像为目标，分别添加大小不同的高斯噪声(从1 dB~10 dB，步长为1 dB)，然后再进行融合操作，结果如5所示.从图 5可看出，随着噪声的增加，评价指标AG，IE，ES，PSNR的值均逐步降低.但是本文算法获得的评价指标曲线变化相对平稳，且在相同的情况下，本文算法对应的值均要大于其他算法.这表明本文方案对噪声具有良好的抗噪性.
4.1. 评价标准
4.2. 融合结果
4.3. 定量评价
-
本文提出了一种新的医学彩色图像融合方案.首先，基于离散Fourier变换，通过四元数QN的虚数来映射像素的R，G，B分量，将每个块转换为QN表示；并定义了QN的离散Fourier变换.随后，利用QDFT将源图像从空域转换成频域，将像素值转换为由它们的频率顺序排列的系数.通过测量并比较源图像的对比度值，得到融合像素.最后，在每个块上应用逆QDFT后，结合所有块获得新融合图像.通过对SPECT-T1，SPECT-TC，MRI与PET的融合实验证明了本文算法的有效性和优异性.