Medical Image Synthesis via Fine-Grained Image-Text Alignment and Anatomy-Pathology Prompting

数据稀缺和隐私问题限制了高质量医学图像的公开使用，这可以通过医学图像合成来缓解。然而，目前的医学图像合成方法经常难以准确捕捉详细解剖结构和病理情况的复杂性。为了解决这些挑战，我们提出了一种新颖的医学图像合成模型，利用细粒度的图像-文本对齐和解剖-病理提示生成高度详细和准确的合成医学图像。我们的方法将先进的自然语言处理技术与图像生成建模相结合，实现了描述性文本提示和合成图像的解剖和病理细节的精确对齐。所提出的方法包括两个关键组件：解剖-病理提示模块和细粒度对齐合成模块。解剖-病理提示模块自动生成高质量医学图像的描述性提示。为了进一步从生成的提示中合成高质量的医学图像，细粒度对齐合成模块预定义了放射学数据集的视觉代码本，并在代码本和生成的提示之间执行细粒度对齐，以获取关键补丁作为视觉线索，从而促进准确的图像合成。我们通过对公共胸部X射线数据集的实验验证了我们方法的优越性，并证明我们的合成图像保留了准确的语义信息，使它们对各种医学应用具有价值。

本论文旨在通过医学图像合成来缓解数据稀缺和隐私问题，但现有的方法难以准确捕捉复杂的解剖结构和病理情况。

本文提出了一种新的医学图像合成模型，利用细粒度的图像-文本对齐和解剖学-病理学提示来生成高度详细和准确的合成医学图像。

本文的亮点在于将先进的自然语言处理技术与图像生成建模相结合，实现了描述性文本提示与合成图像的解剖和病理细节之间的精确定位。通过在公共胸部X光数据集上进行实验，证明了本方法的优越性，并展示了合成图像保留准确的语义信息，可用于各种医学应用。

相关研究包括：1）使用生成对抗网络（GAN）进行医学图像合成的研究；2）使用变分自编码器（VAE）进行医学图像合成的研究；3）使用深度学习和自然语言处理技术进行医学图像分析的研究。