医学图像具有相似性大、类别多等特性，在大量医学影像中高效准确地检索到所需图像一直是一项挑战. 近年来，很多学者逐渐将哈希算法应用到医学图像检索领域并取得了显著的效果.

Lu等^[29]结合模糊逻辑技术和深度神经网络提出深度模糊哈希，利用模糊规则来模拟数据背后的不确定性. Wang等^[30]提出基于细粒度相关分析的医学图像检索，有效减少了医学图像中的冗余信息. Xu等^[31]针对医学图像提出多流形深度判别跨模态哈希，多模态流形相似性集成了异构数据上的多个子流形以保持实例之间的相关性. Yang等^[32]提出一个名为CenterHash的深度贝叶斯哈希学习框架，它可以将多模态数据映射到共享的Hamming空间，并从不平衡的多模态神经图像中学习哈希码，解决了类间差异小和模态间差异大所造成的难题.

假设输入图像I∈R^H×W×C(其中H，W分别代表图像的高度和宽度，C代表通道数)，首先将I分为N个互不重叠的patch，然后将N个patch展平成二维的patches向量X_P∈R^N×(P2×C)(其中N=HW/P²代表patch的总数)，最后将X_P通过线性映射层映射到D维空间中，形成序列X_P^k∈R^D，k=1，2，…，N. 位置嵌入被添加到patch编码器之后保留位置信息. 与文献[19]不同的是，本研究不使用0号class token，而是将所形成的N个patch进行编码. 具体过程如下：

式中：E∈R^P2×C×D代表线性映射矩阵；E_pos∈R^N×D代表位置嵌入矩阵.

Transformer编码器^[17-19]由L个Transformer块组成，每个Transformer块包含层归一化^[33](Layer Normalization，LN)、多头注意力机制(Multi-Head Attention，MHA)块和多层感知机(Multi-Layer Perceptron，MLP)块，残差连接^[34]分别位于每个块之后. 因此，每个Transformer块的计算公式如下：

式中：MHA，LN和MLP分别代表多头注意力机制块、层归一化以及多层感知机块.

本节详细介绍本研究所提出的算法(ViTH)框架. 首先介绍本研究所使用到的一些符号及含义，然后在此基础上给出ViTH的整体框架(图 1)，并详细阐述各模块的具体作用，最后提出模型的损失函数并进行优化.

本研究使用v等小写字母表示向量，V等大写字母表示矩阵. V的第i行第j列元素记为V_ij；V的第i行记为V_i*；V的第j列记为V_*j；V的转置记为V^T. ‖·‖代表矩阵的Frobenius范数；⊙代表矩阵间的哈达玛积；tr(·)代表矩阵的迹运算. 此外，符号函数和双曲正切函数的定义如下：

给定医学图像数据库X={x_i}_i=1ⁿ，其中n代表数据库样本的总数. L={l_i}_i=1ⁿ∈{0，1}^n×c是数据库样本集X的标签信息，其中c代表X的类别数. 样本集X的成对相似性矩阵S一般定义为：如果x_i和x_j至少共享一个类别，则S_ij=1；否则S_ij=0. 这显然是有局限性的，因为两张图像共享的标签数越多，则它们之间的相似性越大；反之，如果没有共享的标签，则它们是不相似的. 本研究重新定义成对相似性矩阵^[35]$\boldsymbol{S}=\frac{2\left\|l_i \cap l_j\right\|}{\left\|l_i\right\|+\left\|l_j\right\|-\left\|l_i \cap l_j\right\|} \in[0, 2]^{n \times n}$. 如果S_ij=0，则代表x_i与x_j不相似；如果S_ij=2，则代表x_i与x_j完全相似；如果S_ij介于0到2之间，则代表x_i与x_j具有一定的相似性. 训练过程中，本研究从数据库样本集X中随机抽取m个样本作为查询集(训练样本)Q={q_t}_t=1^m. 因此，查询集Q和数据库样本集X之间的成对相似性矩阵为S′∈[0, 2]^m×n.

哈希学习的目的是针对每一个数据库样本x_i学习一个哈希函数h(x_i)∈{-1，+1}^k，以便将各图像映射为紧凑的二进制码B={b_i}_i=1ⁿ∈{-1，+1}^n×k，并且所学习的二进制码B可以保持图像在原始空间中的相似性.

本研究使用视觉Transformer来提取图像特征. 具体来说，首先将输入图像裁剪成9个大小相同且互不重叠的patch，然后将各patch展平成二维的patches向量. 类似地，本研究使用一个可学习的线性投影层将各向量映射到D(D=2 048)维的空间中，得到序列X_P^k∈R^D，k=1，2，…，9. 位置嵌入则被添加到patch编码器之后，其作用是给各patch添加相对位置，以防丢失位置信息. 与研究^[19]不同的是，本研究不使用0号class token，而是将所形成的9个patch进行编码，如公式(1)所示.

此外，本研究在Transformer编码器的前后端分别加入PMT^[27]操作来增强模型的非线性. 假设PMT的输入为x、输出为l，PMT则将x变换为[ln(x+β)，ln²(x+β)]，其中β是一个常数(本研究取β=1). 在前向传播过程中，假设$\frac{\partial l}{\partial y}$是PMT输出的梯度(此处y=[ln(x+β)，ln²(x+β)])，由链式法则得：

通过前向和反向传播，PMT被集成到整个模型中. 在训练过程中可以学习到更复杂的信息，增强模型的非线性.

本研究所使用的Transformer编码器的深度是6，并且每个Transformer编码器都是由LN，MHSPA，MLP以及残差连接组成. 图 2为SPP模块，该模块将输入特征图经过自适应平均池化层形成1×1，2×2，4×4和16×16的特征子图，并将形成的特征子图展平拼接. SPP的主要作用是对输入特征图进行不同尺度的特征提取，并生成融合多个区域信息的多尺度特征. 在模型中，本研究将SPP模块嵌入在MHA中形成MHSPA模块，如图 3所示.

注意力机制是将查询Q和一组键值对K，V映射到输出，其中Q，K，V以及输出都是矩阵形式. 输出是通过对V的加权来计算的，分配给每个V的权重则是通过查询Q与相应键K的兼容性函数来计算. 在MHSPA模块中，V和K先通过SPP模块，然后再将查询Q和经过池化的键值对K′和V′通过尺度点积注意力层(图 3)，该层计算查询Q和键值对K′和V′之间的注意力分数. 假设尺度点积注意力层的查询Q和键K′的维度为d_k，则MHSPA模块的输出为：

式中：K′=SPP(K)，V′=SPP(V). Q和K′^T之间的点积计算每个查询与所有键之间的相似度，softmax(·)函数对相似度分数进行归一化，以获得每个查询总和为1的注意力权重，比例因子$\frac{1}{\sqrt{d_k}}$用于降低点积幅度的影响. 通过使用尺度点积注意力层，模型可以更好地处理输入中的长距离依赖关系，同时避免了点积的数量级过大导致的数值不稳定问题. 若Transformer编码器的输入为z_l，l=1，2，…，L，则输出Z_o为：

将Transformer编码器的输出再次经过PMT操作，并将输出分别通过两个MLP，其中上分支的MLP用来预测输入图像的类别，下分支的MLP用来生成哈希码.

本研究主要考虑了成对损失L_P、量化损失L_Q以及平衡损失L_B^[36-38]. 此外，为了能更好地提高精度，还添加了分类损失L_C这一约束项.

成对损失L_P：训练过程中，本研究通过最小化相似度矩阵S′和查询—数据库样本之间的哈希码内积u_iv_j^T的L₂损失来保持查询样本和数据库样本之间的相似性. 成对损失具体定义如下：

式中：u_i和v_j分别代表查询样本和数据库样本的哈希码；u_t=h(q_t)=sign(Φ(q_t；θ_h))；Φ(q_t；θ_h)∈R^k代表哈希编码分支的输出；θ_h代表哈希编码分支的网络参数.

由于公式(10)的求解是一种离散优化问题，这是极其难以求解的，因此本研究使用双曲正切函数tanh(·)来近似符号函数sign(·)，即：

量化损失L_Q：由于在成对损失中使用了双曲正切函数tanh(·)来近似符号函数sign(·)，因此本研究在网络的实值输出和哈希码之间添加一个正则项，即量化损失L_Q：

平衡损失L_B：为了使哈希码尽可能地充满整个2^k的汉明空间，并保证每一比特的平衡性，本研究提出了平衡损失L_B. 该损失函数会确保每一比特上-1和+1出现的概率尽可能地相等，定义如下：

分类损失L_C：由于不同图像的标签个数有所差别，有的图像只包含一种疾病，有的却包含多种疾病，本研究在训练过程中针对单标签和多标签图像使用不同的损失函数.

1) 多标签分类损失. 针对多标签图像，分类损失定义如下：

2) 单标签分类损失. 针对单标签图像，分类损失定义如下：

其中，c代表数据库样本集X的类别数；pred(q_t；θ_c)代表图像q_t的预测标签；l_t代表图像的真实标签；θ_c代表预测图像类别分支的参数.

因此，总的分类损失函数如下：

由2.2.2节得，ViTH模型总的损失函数如下：

其中，α，β和γ都是不敏感的超参数. 本研究使用交替优化算法对式(17)进行求解. 也就是说，在其他参数固定的情况下优化一个参数.

当V和θ_c固定时，使用反向传播算法来更新参数θ_h. 因此，针对每个查询图像q_t，梯度计算如下：

其中z_t^h=Φ(q_t；θ_h). 有了$\frac{\partial L}{\partial z_{t}^{h}}$之后，我们可以根据链式法则计算$\frac{\partial L}{\partial \theta_{h}}$另外，由于L_B和L_C均独立于z_t^h，所以$\frac{\partial L_{B}}{\partial z_{t}^{h}}=0, \frac{\partial L_{C}}{\partial z_{t}^{h}}=0$.

当V和θ_h固定时，使用反向传播算法来更新参数θ_c. 因此，针对每个查询图像q_t，梯度计算如下：

式中：z_t^c=pred(q_t；θ_c)；ε是一个常数. 有了$\frac{\partial L}{\partial z_{t}^{c}}$之后，我们可以根据链式法则计算$\frac{\partial L}{\partial \theta_{c}}$. 另外，由于L_P，L_Q和L_B均独立于z_t^c，所以$\frac{\partial L_{P}}{\partial z_{t}^{c}}=0, \frac{\partial L_{Q}}{\partial z_{t}^{c}}=0, \frac{\partial L_{B}}{\partial z_{t}^{c}}=0$.

当θ_h和θ_c固定时，我们可以重写式(17). 具体如下：

式中：$\widetilde{U}=\left[\tilde{u}_{1}, \tilde{u}_{2}, \cdots, \tilde{u}_{t}, \cdots, \tilde{u}_{m}\right]^{\mathrm{T}} ; \widetilde{u}_{t}=\tanh \left(\varPhi\left(q_{t} ; \theta_{h}\right)\right), 1=[1, 1, \cdots, 1]^{\mathrm{T}} \in R^{1 \times n} ; \tau$是一常数. 另外，由于本研究的查询样本是从数据库样本中随机抽取的，所以$\widetilde{V} \in R^{m \times k}$代表查询样本在数据库中所对应的哈希码，$\bar{V} \in R^{n \times k}$代表将$\widetilde{V}$嵌入在V中的编码.

为了简便运算，本研究令

因此，式(20)进一步转化为：

针对式(21)，对数据库编码V采用逐比特更新的策略. 也就是说，在更新某一比特哈希码时，固定其他比特保持不变. 因此，等式(21)可以重写为：

因此，式(22)的最优解如下：

在模型训练完成之后，对于查询集Q={q_t}_t=1^m之外的样本，本研究通过样本外扩展生成对应样本的哈希码. 具体如下：

本研究算法实现步骤如下：

算法1  视觉Transformer哈希算法(ViTH)

输入  数据库样本集X={x_i}_i=1ⁿ，标签矩阵L={l_i}_i=1ⁿ∈{0，1}^n×c，码长k，批处理大小b，迭代数目iters和epochs.

输出   数据库样本哈希码V，最优神经网络参数θ_h和θ_c.

(1) 初始化神经网络参数θ_h和θ_c，数据库样本哈希码V；

(2) for iter=1 to iters do

(3)     随机生成查询集Q={q_t}_t=1^m，计算查询—数据库的相似度矩阵S′∈[0, 2]^m×n；

(4)   for epoch=1 to epochs do

(5)       for batch=1 to $\frac{m}{b}$ do

(6)         计算批数据的哈希码，根据式(18)和链式法则更新θ_h，根据式(19)和链式法则更新θ_c；

(7)       end

(8)     end

(9)   for bit=1 to k do

(10)    根据式(23)更新V；

(11)   end

(12) end

ChestX-ray14：该数据集共包含112 120幅正面的胸部X射线图像，每幅图像的尺寸为1 024×1 024. 除健康人群的图像外，每幅图像都带有一种或多种常见的胸部疾病，共14种. 本研究只关注带有疾病的X射线图像，由于各类疾病的数量是极其不平衡的，因此剔除了数量极少的种类，并对相对较少的疾病图像通过旋转一定角度、水平翻折、垂直翻折等操作进行扩充. 最终，本研究从该数据集获得了47 723张图像，并使其达到相对平衡的状态. 实验过程中，本研究从每种疾病中随机抽取100张图像作为测试样本，其余图像作为数据库样本，训练样本则是每次从数据库样本中随机抽取10 000张.

ISIC 2018：该数据集是一个皮肤镜像数据集，包含黑色素瘤、黑素细胞痣、基底细胞癌等7种疾病，每张图像的尺寸为600×450×3，共计10 208张图像. 由于数据集中各种疾病的数目相差过大，因此本研究剔除了数目极少的2种疾病，并将剩余的5种疾病通过旋转一定角度、水平翻折、垂直翻折等操作进行扩充. 最终，本研究从该数据集获得了16 345张图像，并使其达到相对平衡的状态. 实验过程中，本研究从每种疾病中随机抽取100张图像作为测试样本，其余图像作为数据库样本，训练样本则是每次从数据库样本中随机抽取5 000张.

本节主要介绍实验中使用的评估标准.

平均精度(Mean Average Precision，MAP)被广泛用于衡量汉明距离排序的准确性. 为了得到MAP的值，本研究首先引入平均精度(Average Precision，AP). 对于第i个查询图像，AP(i)的定义如下：

式中：M是从数据库中检索到相关图像的总数；N代表数据库中的总样本数；R_n代表前n个返回图像中与查询图像相关的图像总数. 如果返回图像中第n张图像与查询图像相关，则rel_n=1；否则，rel_n=0.MAP则是所有AP的平均值，即MAP=mean[AP(i)].

Precision@K代表返回样本中前K个与查询样本相似的平均准确率.

式中：如果返回图像中第i张图像与查询图像相关，则rel_i=1；否则，rel_i=0.

本研究针对ViTH模型的所有实验都是基于Windows系统的服务器完成的(其中CPU配置为：Intel(R) Core(TM) i9-10940X CPU @ 3.30GHz，GPU配置为：NVIDIA GeForce RTX 3090). 经过对超参数的实验分析，本研究设置α=100，β=500，γ=10. 另外batch size为64，迭代次数为50，总epoch为20，初始学习率为0.000 1.

本节将所提出的算法(ViTH)与其他几种经典算法进行对比，包括DSH^[11]，DPSH^[12]，IDHN^[37]，DBDH^[38]，VTS^[23]，SADH^[39]. 简单介绍如下：

DSH^[11]：该算法设计了一个CNN架构，将成对的图像(相似/不相似)作为训练输入，并鼓励每个图像的输出接近离散值(例如+1/-1). 另外，设计损失函数并通过对输入图像的监督信息进行编码，同时对实值输出进行正则化以逼近所需的离散值，从而最大限度地提高输出空间的可辨别性.

DPSH^[12]：一种深度成对监督哈希，用于对具有成对标签的样本点联合执行特征学习和哈希码学习.

IDHN^[37]：一种将语义标签进行归一化并计算其成对量化相似度的哈希方法. 该方法将成对相似度分为硬相似度和软相似度两种情况，并对这两种情况使用不同的损失函数.

DBDH^[38]：一种深度平衡离散哈希方法，该方法没有使用传统的连续松弛策略，从而减少了连续松弛带来的量化误差. 在损失函数中，离散值是通过成对损失和平衡控制项来计算的. 学习到的二进制哈希码同时保持相似关系和标签一致性. 在保持成对相似性的同时，该方法保持哈希码的平衡以提高检索性能.

VTS^[23]：一种利用预训练的视觉Transformer模型来进行图像检索的方法. 该方法以现有的经典哈希算法为基础，利用ViT模型作为通用的特征提取模块，并将ViT中的MLP替换为各经典算法的哈希模块.

SADH^[39]：提出一种具有自监督非对称语义挖掘和边距可扩展约束的新型深度哈希方法. 该方法实现了一个自监督网络，在语义特征字典和语义代码字典中充分保留给定数据集语义的语义信息，高效准确地引导特征学习网络使用非对称学习来保留多标签语义信息策略，并通过进一步利用语义词典以及边距可缩放约束来生成哈希码.

表 1和表 2分别是目前经典的哈希算法在ChestX-ray14和ISIC 2018数据集上的检索结果. 另外为了节省时间，本研究中对比算法(DSH，DPSH，IDHN，DBDH)的实验使用预训练好的AlexNet^[40]网络作为特征提取模块. 从表 1(图 4)和表 2(图 5)可以看出，ViTH整体上要优于其他经典算法. 图 6和图 7是ViTH分别在ChestX-ray14和ISIC 2018数据集上随机检索到的前10张图像展示. 其中，蓝色框代表检索到的图像与查询图像至少共享一个类别，红色框代表检索到的图像与查询图像没有共享任一类别.

深度学习中，不同数值的超参数对模型的性能影响至关重要^[41]. 本节主要针对α，β和γ这3个超参数，使用Precision@10在ChestX-ray14上对36位哈希编码进行超参数分析. 其中，α代表量化损失L_Q的权重系数，β代表平衡损失L_B的权重系数，γ代表分类损失L_C的权重系数. 本研究分别设置α∈{100，200，300，400，500}，β∈{0.5，5，50，500，5 000}，γ∈{0.1，1，10，100，1 000}进行实验分析. 除超参数的取值外，其他参数的取值仍使用3.3中的实验设置. 图 8-图 10分别是α，β和γ在ChestX-ray14上不同取值下的结果. 由图 8-图 10可知，当α=100，β=500，γ=10时，检索性能最优.

本研究提出一种面向医学图像检索的视觉Transformer哈希(ViTH)算法. 在Transformer编码器的前后端分别加入PMT模块来进一步增强模型的非线性. 鉴于医学图像之间差异性小且难以分辨的问题，本研究在Transformer编码器内部引入MHSPA模块，该模块不仅可以提取图像的全局上下文特征，而且可以提取多尺度的局部上下文特征，并将不同尺度的特征进行融合. 在损失函数方面，本研究不仅考虑了传统的成对损失、量化损失，还添加了平衡损失和分类损失以对哈希码的映射进一步约束. 本研究在ChestX-ray14和ISIC 2018两个医学图像数据集上与其他多个先进的哈希算法进行实验比较，证明了本研究算法在检索性能方面具有较好的优越性，对关键超参数的变化具有鲁棒性.

另外，本研究算法主要应用在两个领域：①医学图像检索与快速诊断. ViTH算法可以支持医生和研究人员快速获取与特定病例相关的图像. 这有助于提高诊断效率，尤其是在紧急情况下迅速获取相关图像进行诊断. ②医学图像相似性分析. ViTH算法可以量化医学图像之间的相似性，从而帮助医学研究人员进行更准确的图像分析.

最后，本研究虽然在ChestX-ray14和ISIC 2018上取得了良好的实验效果，但仍然存在一些局限性：①现实中各疾病的发病概率是不同的，从而导致医学图像数据集中各类别之间存在不均衡现象，因此模型在检索过程中可能更倾向于占比较大的类别. ②本研究仅关注单模态医学图像，对多模态数据并不适用. 这些局限性也将是本团队未来工作中的重要研究方向.