MediCLIP: Adapting CLIP for Few-shot Medical Image Anomaly Detection

在医学决策领域，医学影像精确异常检测在协助临床医生方面起着关键作用。然而，以往的工作都依赖于大规模数据集来训练异常检测模型，这增加了开发成本。本文首先关注于医学影像中的少样本情况下异常检测任务，这对于医学领域来说至关重要，因为数据采集和注释都非常昂贵。我们提出了一种创新的方法，MediCLIP，通过自监督微调将CLIP模型适应于少样本医学影像异常检测。虽然CLIP作为一种视觉-语言模型，在各种下游任务中展现出了出色的零/少样本性能，但在医学影像的异常检测方面仍有不足。为了解决这个问题，我们设计了一系列医学影像异常合成任务，模拟医学影像中常见的疾病模式，将CLIP的强大泛化能力转移到医学影像异常检测任务中。当只有少量正常医学影像提供时，MediCLIP在异常检测和定位方面相比其他方法实现了最先进的性能。对三个不同的医学异常检测任务进行了广泛的实验，证明了我们方法的优越性。代码可在https://github.com/cnulab/MediCLIP上获得。

本文旨在解决医学图像异常检测中数据获取和标注成本高的问题，提出了一种在少量样本情况下进行医学图像异常检测的方案。

本文提出了一种创新的方法MediCLIP，通过自监督微调将CLIP模型应用于少样本医学图像异常检测。通过设计医学图像异常合成任务来模拟常见疾病模式，将CLIP模型的强大泛化能力转移到医学图像异常检测任务中。

本文在三个不同的医学异常检测任务中进行了大量实验，证明了MediCLIP方法在异常检测和定位方面的卓越性能。研究者还开源了代码。

近期相关研究包括：Few-shot learning, Anomaly detection in medical imaging, CLIP模型的应用等。