论文地址：https://arxiv.org/pdf/2111.12918.pdf

摘要

医学图像分析（MIA）中有效的半监督学习（SSL）必须解决两个挑战。1）在多类（如病变分类）和多标签（如多种疾病诊断）问题上都能有效工作；2）处理不平衡学习（因为疾病发生率的差异很大）。在SSL MIA中探索的一种策略是基于伪标签策略，但它有一些缺点。伪标签一般来说比一致性学习的准确率低，它不是专门为多类和多标签问题设计的，而且它可能受到不平衡学习的挑战。在本文中，与传统的通过阈值选择有信心的伪标签的方法不同，我们提出了一种新的SSL算法，称为反课程伪标签（ACPL），它引入了新的技术来选择有信息量的无标签样本，改善训练平衡，使模型同时适用于多标签和多类问题，并通过准确的分类器集合来估计伪标签（提高伪标签的准确性）。我们进行了广泛的实验，在两个公共医学图像分类基准上评估ACPL。胸部X-Ray14用于胸部疾病多标签分类，ISIC2018用于皮肤病变多类分类。我们的方法在这两个数据集上的表现都优于之前的SOTA SSL方法。

主要贡献

总而言之，我们的ACPL方法选择了伪标签的高度信息样本（解决MIA不平衡分类问题并允许多标签多级建模），并使用分类器集合来产生准确的伪标签（解决确认偏见以提高分类偏见的准确性） ，主要技术贡献是：

  • 一项新的信息内容度量，以选择信息丰富的未标记样本，称为跨分布样本信息；
  • 一种新的伪标记机制，称为信息丰富的混音，该机制从深度学习和KNN分类器的合奏中产生了伪标签。
  • 一种称为锚定纯化（ASP）的新颖方法，可选择内容丰富的伪标记样品，以包含在标记的锚定套件中，以提高KNN分类器的伪标记精度。

我们评估了两个公开可用的医学图像分类数据集的ACPL，即用于胸部疾病多标签分类的胸部X-Ray14 [39]和ISIC2018用于皮肤病变多级分类[8,36]。我们的方法的表现优于两个数据集中的当前SOTA方法。

方法

要介绍我们的SSL方法ACPL，假设我们有一个小标记的训练集，其中是输入图像的大小H×W带有C颜色通道，是带有由表示的类的标签（请注意，Yi是多类问题的单速向量和多标签问题中的二进制向量）。一个大型未标记的训练集也提供了。我们假设两个数据集中的样本是从相同（潜在）分布中绘制的。我们的算法还依赖于伪标记的集合\( D_S \)，该集合由伪标记的样品组成，这些样品分类为有益的未标记样品，以及包含有益的伪标记样品的锚点\( D_A \)。 ACPL的目的是学习模型使用标记，未标记，伪标记和锚点数据集的标记，通过θ进行参数。

实验

对于两个数据集，我们使用Densenet-121 [12]作为我们的骨干模型。对于胸部X-Ray14，数据集预处理包括将图像调整为512×512，以进行更快的处理。为了优化，我们使用Adam Optimizer [19]，批次尺寸16和学习率0.05。在训练过程中，我们使用基于随机作物和调整大小的数据增强以及随机的水平翻转。我们首先在初始标记子集上训练20个时期，以预热模型以提取特征。然后我们训练50个时期，在每10个时期，我们每10个时期都会使用ASP更新锚点。对于（2）中的KNN分类器，我们将K设置为200％，为2％和5％（标记的数据），剩余标签比例为50。这些值是基于验证结果设置的，但是我们的方法对较大的k值是可靠的 - 我们显示了一项消融研究，该研究比较了我们的方法对K的不同值的性能。对于ISIC2018，我们将图像大小调整到224×224为了与基线进行公平的比较。为了进行优化，我们使用ADAM Optimizer [19]，批次尺寸32和学习率0.001。在训练过程中，数据增强也基于随机作物和调整大小和随机水平翻转。我们为40个时期的模型进行预热，然后训练100个时期，在每20个时期，我们使用ASP更新锚点。对于KNN分类器，基于验证集设置为100。该代码用Pytorch [28]编写，我们使用两个RTX 2080TI GPU进行所有实验。 KNN计算需要5秒钟的胸部X射线14未标记的样品[16]库，以便更快地处理。我们遵循[25，26，33]，以维持训练有素的模型的指数移动平均值（EMA）版本，该版本仅用于评估而不是用于训练。

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除