Diffusion based Zero-shot Medical Image-to-Image Translation for Cross Modality Segmentation

本文研究跨模态图像分割，旨在使用在源模态下设计的方法来分割目标模态。深度生成模型可以将目标模态图像转换为源模态，从而实现跨模态分割。然而，现有大量跨模态图像翻译方法都依赖于监督学习。本文旨在解决基于零样本学习的图像翻译任务的挑战（即目标模态的极端情况在训练阶段看不到）。为了利用生成学习进行零样本跨模态图像分割，我们提出了一种新颖的无监督图像翻译方法。该框架通过利用不同模态之间的固有统计一致性进行扩散引导，学习将未见过的源图像转换为目标模态，以进行图像分割。我们的框架在统计域中捕获相同的跨模态特征，提供扩散引导而不依赖于源域和目标域之间的直接映射。这种优势使我们的方法能够适应不断变化的源域，而无需重新训练，这在源域数据不足时非常实用。通过与影响力生成模型（包括基于对抗和扩散的模型）进行经验比较，本文验证了所提出的框架在零样本跨模态图像分割任务中的有效性。

本文旨在解决零样本学习的跨模态图像翻译问题，即在目标模态未出现在训练阶段的情况下，如何利用生成学习进行跨模态图像分割？

本文提出了一种新颖的无监督图像翻译方法，通过利用不同模态之间的统计一致性来进行扩散指导，从而学习将未见过的源图像转换为目标模态，以进行图像分割。该方法不依赖于源域和目标域之间的直接映射，而是在统计域中捕捉相同的跨模态特征，从而适应不同的源域，无需重新训练。

本文的实验结果表明，该方法在零样本跨模态图像分割任务中具有很好的性能，相比其他流行的生成模型，如对抗生成模型和扩散模型，具有更好的鲁棒性和泛化性能。此外，本文还使用了多个数据集进行验证，并提供了开源代码。

在相关研究方面，最近的一些研究包括：《Zero-Shot Learning - A Comprehensive Evaluation of the Good, the Bad and the Ugly》、《Cross-Modality Person Re-Identification with Generative Adversarial Training》、《Unsupervised Cross-Modality Domain Adaptation of ConvNets》等。