SynthFM: Training Modality-agnostic Foundation Models for Medical Image Segmentation without Real Medical Data

像 Segment Anything Model (SAM) 这样的基础模型在自然图像的零样本分割任务中表现出色，但在医学图像分割方面由于纹理、对比度和噪声的差异而面临挑战。医学图像的标注成本高昂且需要领域专业知识，这限制了大规模标注数据的获取。为了解决这一问题，我们提出了 SynthFM，这是一种合成数据生成框架，能够模拟医学图像的复杂性，使基础模型无需真实医学数据即可完成适应。通过使用 SAM 的预训练编码器，并在 SynthFM 生成的数据集上从零训练解码器，我们在 9 个数据集（包括 CT、MRI 和超声）中的 11 种解剖结构上评估了该方法。实验结果表明，SynthFM 在不同提示设置下以及在分布外数据集上的表现优于 SAM 和 MedSAM 等零样本基线方法，取得了更优的性能。

论文试图解决基础模型（如SAM）在医疗图像分割任务中的性能不足问题。由于医疗图像的纹理、对比度和噪声特性与自然图像不同，导致基础模型在零样本情况下表现不佳。此外，医疗图像标注成本高且需要领域专业知识，限制了大规模标注数据的可用性。这是一个长期存在的问题，但通过合成数据生成来缓解这一问题的方法尚属新颖。

论文提出了一种名为SynthFM的合成数据生成框架，用于模拟医疗图像的复杂特性。通过使用SAM的预训练编码器并从头训练解码器，该方法能够在不使用真实医疗数据的情况下实现对基础模型的有效适配。相比直接使用零样本基础模型或微调方法，SynthFM显著提升了在多种医学成像模态（CT、MRI、超声波）上的分割性能。

1. SynthFM生成的合成数据能够有效捕捉医疗图像的关键特征，包括纹理、对比度和噪声；2. 方法在11种解剖结构和9个数据集上进行了全面评估，证明其泛化能力；3. 实验设计涵盖了不同的提示设置（prompt settings），验证了方法的鲁棒性；4. 论文开源了SynthFM代码和部分合成数据，为未来研究提供了资源；5. 值得进一步研究的方向包括改进合成数据的质量以及探索更多医疗领域的应用场景。

近期相关研究包括：1. MedSAM：针对医疗图像优化的SAM变体，但仍然依赖于真实医疗数据的微调；2. SynthIA：一种合成数据生成方法，专注于提高医学图像分割的标注效率；3. TransUNet：结合Transformer架构的医学图像分割方法，强调跨模态性能；4. SwinUNETR：利用Swin Transformer进行三维医学图像分割的研究。这些工作大多集中在如何改进模型架构或利用有限的真实数据，而SynthFM则通过高质量的合成数据提供了一种全新的解决方案。