Diffusion based Zero-shot Medical Image-to-Image Translation for Cross Modality Segmentation

2024年04月01日
  • 简介
    跨模态图像分割旨在使用在源模态下设计的方法来分割目标模态。深度生成模型可以将目标模态图像转换为源模态,从而实现跨模态分割。然而,现有的大量跨模态图像转换方法依赖于监督学习。在这项工作中,我们旨在解决基于零样本学习的图像转换任务的挑战(目标模态的极端情况在训练阶段中未被看到)。为了利用生成学习进行零样本跨模态图像分割,我们提出了一种新的无监督图像转换方法。该框架通过利用不同模态之间的固有统计一致性进行扩散引导,学习将未见过的源图像转换为目标模态以进行图像分割。我们的框架在统计域中捕获相同的跨模态特征,提供扩散引导,而不依赖于源域和目标域之间的直接映射。这种优势使得我们的方法能够适应源域的变化,而无需重新训练,使其在缺乏足够标记的源域数据时非常实用。所提出的框架通过与影响力生成模型(包括基于对抗和扩散的模型)的实证比较,在零样本跨模态图像分割任务中得到验证。
  • 图表
  • 解决问题
    本文旨在解决无监督图像翻译的问题,以实现跨模态图像分割。同时,该方法可以适应目标模态中极端情况下的零样本学习。
  • 关键思路
    本文提出了一种基于统计一致性的无监督图像翻译方法,通过捕捉不同模态之间的相似性,实现了跨模态图像分割。该方法的优势在于不需要依赖源域和目标域之间的直接映射,从而可以适应源域的变化,而无需重新训练。
  • 其它亮点
    本文的方法在零样本学习的情况下,实现了跨模态图像分割。实验结果表明,该方法在多个数据集上的表现优于其他基于生成模型的方法。此外,该方法不需要依赖标注数据,具有很高的实用性。
  • 相关研究
    与本文相关的研究包括基于对抗生成网络和扩散模型的跨模态图像翻译方法,如CycleGAN和MSG-Net。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论