MedM2G: Unifying Medical Multi-Modal Generation via Cross-Guided Diffusion with Visual Invariant

医学生成模型以其高质量的样本生成能力而闻名，加速了医学应用的快速增长。然而，最近的研究集中于为不同的医学任务建立单独的医学生成模型，受制于医学多模态知识不足，限制了医学综合诊断。本文提出了MedM2G，一个医学多模态生成框架，其关键创新在于在一个统一的模型中对医学多模态进行对齐、提取和生成。我们通过在统一空间中的中央对齐方法高效地对医学多模态进行对齐，超越了单个或两个医学模态。值得注意的是，我们的框架通过保留每种成像模态的医学视觉不变性，提取有价值的临床知识，从而增强了多模态生成的特定医学信息。通过将自适应交叉引导参数条件化为多流扩散框架，我们的模型促进了医学多模态之间的灵活交互。MedM2G是第一个统一文本到图像、图像到文本和医学模态（CT、MRI、X射线）的生成任务的医学生成模型。它在10个数据集上执行了5个医学生成任务，始终表现优于各种最先进的工作。

本文提出了MedM2G，一种医学多模态生成框架，旨在解决分离式医学生成模型对于医学多模态知识的不足，限制医学综合诊断的问题。

MedM2G框架通过在统一空间中对医学多模态进行对齐、提取和生成，有效地解决了单一或两种医学模态的限制，并提取了有价值的临床知识，从而增强了多模态生成的特定医学信息。

MedM2G是第一个将文本到图像、图像到文本和医学模态（CT、MRI、X射线）统一生成的医学生成模型。实验结果表明，在10个数据集上执行5个医学生成任务，MedM2G始终优于各种最先进的工作。

最近的相关研究包括：《Learning to Generate Textual Data》、《Generative Adversarial Nets》、《StackGAN++: Realistic Image Synthesis with Stacked Generative Adversarial Networks》等。