DiNO-Diffusion. Scaling Medical Diffusion via Self-Supervised Pre-Training

Diffusion models（DMs）已成为各种任务的强大基础模型，尤其是合成图像生成方面。然而，它们需要大量注释数据集进行训练，这限制了它们在医学成像中的适用性，因为医学成像数据集通常较小且注释不足。我们介绍了DiNO-Diffusion，这是一种自监督方法，用于训练潜在扩散模型（LDMs），它将生成过程的条件设置为从DiNO提取的图像嵌入。通过消除对注释的依赖，我们的训练利用了来自公共胸部X射线（CXR）数据集的超过868k个未标记图像。尽管是自监督的，DiNO-Diffusion显示了全面的流形覆盖，FID得分低至4.7，并在下游任务评估中显示出新的特性。它可以用于从小数据池中生成语义多样的合成数据集，即使是这样，也可以展示出高达20%的AUC分类性能提升，当用于数据增强时。图像是使用不同的采样策略在DiNO嵌入流形上和使用真实图像作为起点生成的。结果表明，DiNO-Diffusion可以促进从有限的真实数据创建大型数据集，以灵活地训练下游AI模型，同时还具有隐私保护的潜力。此外，当评估肺叶分割时，DiNO-Diffusion展示了高达84.4%的Dice分数的零样本分割性能。这证明了良好的CXR图像解剖学对齐，类似于在普通DM上使用文本描述符进行分割。最后，DiNO-Diffusion可以轻松适应其他医学成像模态或最先进的扩散模型，为医学成像开启大规模、多领域的图像生成管道的大门。

本文旨在解决医学影像数据集通常较小且稀疏标注的问题，提出了一种自监督方法DiNO-Diffusion，用于训练潜在扩散模型（LDMs）。

DiNO-Diffusion利用DiNO提取的图像嵌入来条件生成过程，消除了对注释的依赖，从而利用868k个未标记的公共胸部X射线（CXR）数据集进行训练。它能够生成语义多样的合成数据集，即使从小数据池中也能够实现，用于数据增强时，分类性能可提高20％的AUC。

该方法在下游任务中表现出全面的流形覆盖性，FID分数低至4.7，并在评估时显示出新的属性。此外，DiNO-Diffusion表现出零样本分割性能，达到84.4％的Dice分数。该方法易于适应其他医学成像模态或最先进的扩散模型，为医学成像开启了大规模、多领域的图像生成管道。

与此相关的研究包括使用GAN进行医学图像合成的研究，如MUNIT、DRIT和CycleGAN等。还有一些基于自监督学习的医学图像合成方法，如SimCLR和MoCo。