Chest-Diffusion: A Light-Weight Text-to-Image Model for Report-to-CXR Generation

文本到图像生成对于生成多样化和可控制的图像具有重要意义。已经有一些尝试将稳定扩散（SD）应用于医学领域。然而，医疗报告和自然文本之间存在很大的分布差异，同时常见的稳定扩散中高计算复杂度限制了生成医学图像的真实性和可行性。为了解决这些问题，我们提出了一个新的基于轻量级变压器扩散模型学习框架，Chest-Diffusion，用于报告到胸部X光图像的生成。Chest-Diffusion采用一个领域特定的文本编码器来获取准确和表现力强的文本特征，以指导图像生成，提高了生成图像的真实性。同时，我们引入了一个轻量级的变压器架构作为去噪模型，降低了扩散模型的计算复杂度。实验证明，我们的Chest-Diffusion在118.918 GFLOPs的计算预算下实现了最低的FID得分24.456，这几乎是SD计算复杂度的三分之一。

本文旨在解决将医学报告转化为X光片图像的问题。现有的稳定扩散模型在医学领域应用存在问题，本文提出了一种基于Transformer的轻量级扩散模型学习框架，名为Chest-Diffusion，以提高生成图像的真实性和可行性。

本文的关键思路是使用领域特定的文本编码器来获取准确和表达丰富的文本特征，以指导图像生成，同时引入轻量级Transformer架构作为去噪模型，降低扩散模型的计算复杂度。

实验结果表明，Chest-Diffusion在118.918 GFLOPs的计算预算下，取得了最低的FID得分24.456，其计算复杂度仅为SD的三分之一。本文的贡献在于提出了一种新的、轻量级的扩散模型，适用于医学图像生成。

最近的相关研究包括：1.《Generative Adversarial Networks for Medical Imaging Applications: A Review》；2.《Medical Image Synthesis Using Deep Convolutional Generative Adversarial Networks: A Survey》；3.《A Survey of Deep Learning for Medical Image Analysis》。