近日，机械与电气工程学院王国泰教授团队在人工智能领域的国际顶级期刊IEEE Transactions on Image Processing (TIP)连续发表了两项关于医学图像分割模型的自监督预训练与测试时适应的最新研究成果。王国泰教授、2021级硕士生伍江浩分别为第一作者，电子科技大学为第一完成单位。

这两项研究成果聚焦于基于深度学习的医学图像分割领域，针对医学图像分割模型在少样本条件下性能差、跨中心泛化性弱的问题，分别探索了利用自监督预训练提高分割模型性能和通过测试时域适应提高在未见域的分割能力的方法。

论文一：《Volume Fusion-Based Self-Supervised Pretraining for 3D Medical Image Segmentation》

近年来，深度神经网络在医学图像分割中取得了优异的性能，但通常依赖于大规模的标注数据进行训练，在小样本数据集上的表现较差。自监督预训练通过在大量无标注数据上进行训练， 学习通用特征，再在下游特定分割任务中通过少量标注数据微调，可有效缓解这一问题。

然而，传统的自监督学习方法大多基于图像编码器的预训练（如对比学习、自监督分类等），或者采用编码器-解码器结构进行预训练，但是使用图像重建作为预训练任务，和下游的分割任务之间存在鸿沟。为了克服这一问题，本文针对三维医学图像分割问题，在预训练阶段设计了一个基于体数据融合的自监督学习框架VolF。

图1：基于体数据融合的三维图像分割模型自监督预训练方法VolF

如图1所示，该方法通过构建伪分割任务，使预训练阶段学习到的特征与下游真实分割任务更加匹配。具体地，VolF将一幅图像中两个不同的子区域或者两幅不同的图像进行融合，图像中各块的融合系数采用预定义的离散数值（如0.0， 0.25， 0.5， 0.75， 1.0等五种类别），将融合后的图像输入一个分割模型，使其预测各个块的融合系数的类别，这种像素级的分类任务本质上就是一种分割任务，因此可以在无需人工标注的情况下采用通用的图像分割损失函数进行训练，使预训练模型获得较强的分割能力。

图2：VolF在下游分割数据集上对性能和收敛速度的提升

图3：基于体数据融合的三维图像分割模型自监督预训练方法VolF

在下游小样本分割数据集如Synapse、SegTHOR等胸、腹部CT图像多器官分割数据集中，VolF可以显著提升训练过程的收敛速度和验证集上的性能，如图2所示。针对规模稍大的肝脏肿瘤分割数据集，VolF仅需15%左右的标注图像，就可以达到全监督学习性能，大幅度减少下游数据收集和标注需求。此外，在全标注的条件下，VolF相比于无预训练的基线模型，可将肝脏肿瘤的分割Dice指标提高8个百分点，如图3所示。该方法对于提高小样本条件下医学图像分割模型的性能、减少医学图像分割模型的数据和标注需求具有重要价值。

论文二：《A3-TTA: Adaptive Anchor Alignment Test-Time Adaptation for Image Segmentation》

在复杂临床场景下，医学图像分割模型通常面临测试域和训练域存在分布差异的问题，导致在训练时未见过的数据域（如新的医疗中心、不同的扫描设备的数据）上性能显著下降。医学图像分割模型的测试时自适应（Test-Time Adaptation, TTA）对于克服这一问题、提高跨域测试时的性能鲁棒性具有重要意义。然而，TTA方法由于测试过程中无法访问测试图像的标签且模型自身预测的结果存在大量错误，导致缺少可靠的监督信号对模型进行有效更新，如图4所示。

图4：A3-TTA论文的动机

图5：所提出的测试时自适应方法A3-TTA示意图

针对这一问题，本文提出一种基于自适应锚点对齐的测试时自适应方法A3-TTA。如图5所示，该方法基于源域模型在目标域测试图像上分割性能不稳定的观察，首先提出一种基于类别紧密度的预测质量估计方法，利用该方法动态筛选出目标域上预测质量较高的样本，作为目标域的锚点样本，将其特征存入一个特征库中。对于当前的测试样本，将其特征与特征库中锚点样本的特征按照相似性进行加权融合（即特征修正）后输入解码器，得到修正后的预测结果作为更高质量伪标签指导模型更新。此外，该方法还采用了自适应平均教师模型和边缘信息引导的熵最小化损失，使模型更稳定地适应到目标域。

图6：不同方法在心脏和前列腺图像跨域适应的结果对比

在多域心脏、前列腺图像分割数据集和多天气条件下的街景图像分割数据集中，该方法的性能明显优于已有方法，如图6所示。该项研究对于提高图像分割模型的自适应能力，在复杂测试环境下确保模型性能的鲁棒性具有重要意义。