XReal: Realistic Anatomy and Pathology-Aware X-ray Generation via Controllable Diffusion Model

大规模生成模型已经展示出在产生视觉上令人信服的图像方面的惊人能力，在医学影像方面应用也越来越广泛。然而，它们仍然在处理图像幻觉和生成解剖不准确的输出方面面临挑战。这些限制主要是由于仅依赖文本输入和缺乏对生成图像的空间控制，从而阻碍了这些模型在实际应用中的潜在有用性。我们提出了XReal，一种新颖的可控扩散模型，通过精确的解剖和病理位置控制生成逼真的胸部X线图像。我们的轻量级方法可以在预训练的文本到图像扩散模型中无需微调地无缝集成空间控制，保留其现有知识并增强其生成能力。XReal在定量和定性指标上优于最先进的X射线扩散模型，同时根据专家放射科医师的评估，解剖学和病理学的真实性分别提高了13%和10%。我们的模型有望推动医学影像中的生成模型，提供更高的精度和适应性，同时在这个不断发展的领域中引发进一步的探索。一个带注释和代码的大型合成数据公开可用于https://github.com/BioMedIA-MBZUAI/XReal。

XReal论文旨在解决大规模生成模型在医学影像中出现的图像幻觉和解剖不准确的问题。该论文提出了一种新型的可控扩散模型，通过精确的解剖和病理位置控制生成逼真的胸部X光图像。

XReal模型可以在不进行微调的情况下，将空间控制无缝集成到预训练的文本到图像扩散模型中，从而提高其生成能力。该模型在定量和定性指标上优于现有的X光扩散模型，具有13%的解剖和10%的病理现实感增益。

该论文的亮点包括：使用了大规模合成数据集，提供了注释和代码；实验结果表明该模型在解剖和病理现实感方面表现优异；XReal模型可以为医学影像中的生成模型提供更高的精度和适应性。

在这个领域中，最近的相关研究包括：1）GAN-based medical image synthesis with data-efficient networks；2）Progressive growing of GANs for improved quality, stability, and variation；3）Deep learning-based medical image synthesis: a review。