On Differentially Private 3D Medical Image Synthesis with Controllable Latent Diffusion Models

一般来说，公共医学影像数据集的规模较小，加上严格的隐私保护限制，阻碍了深度学习模型在医学影像领域的发展。本研究针对短轴视图下的三维心脏磁共振图像，解决了这些挑战。我们提出了潜在扩散模型，该模型可以根据医学属性生成合成图像，并通过差分隐私模型训练确保患者隐私。据我们所知，这是第一篇应用和量化差分隐私于三维医学图像生成的研究。我们在公共数据上预训练模型，并在英国生物库数据集上用差分隐私进行微调。我们的实验表明，预训练显著提高了模型性能，在ε=10时，达到了26.77的Fréchet Inception Distance（FID），而没有预训练的模型则为92.52。此外，我们探讨了隐私约束和图像质量之间的权衡，研究更严格的隐私预算如何影响输出可控性并可能导致性能下降。我们的结果表明，在训练时正确考虑差分隐私可以显著提高合成心脏MRI图像的质量，但在实现一致的医学真实感方面仍存在显著挑战。

如何在保护病人隐私的前提下，解决医学成像数据集小、数据量不足的问题，以提高深度学习模型在医学成像领域的应用？

通过提出基于潜在扩散模型的方法，生成与医学属性相对应的合成图像，并在模型训练中保证差分隐私，从而达到保护病人隐私的目的。同时，通过在公共数据集上预训练模型，再在UK Biobank数据集上进行微调，提高合成心脏MRI图像的质量。

论文是第一篇在3D医学图像生成中应用和量化差分隐私的研究。实验结果表明，在合适的差分隐私训练下，可以大大提高合成心脏MRI图像的质量。但在实现一致的医学真实性方面仍面临挑战。论文使用公共数据集进行预训练，并在UK Biobank数据集上进行微调。论文开源了相关代码。

最近在这个领域的相关研究包括：《A Deep Learning Approach to Unsupervised Ensemble Learning》、《A Survey on Deep Learning in Medical Image Analysis》、《Differential Privacy in Machine Learning: A Survey for the Data Scientist》等。