Deformation-Recovery Diffusion Model (DRDM): Instance Deformation for Image Manipulation and Synthesis

在医学影像学中，扩散模型在合成图像生成任务中显示出巨大的潜力。然而，这些模型经常在生成图像和现有图像之间的可解释连接方面遇到困难，并且可能会创建幻觉。为了解决这些挑战，我们的研究提出了一种基于变形扩散和恢复的新型扩散生成模型。这个模型被命名为变形-恢复扩散模型（DRDM），它不同于传统的基于分数/强度和潜在特征的方法，强调通过变形场而不是直接图像合成来实现形态学变化。这是通过引入一种保持拓扑的变形场生成方法实现的，该方法随机采样和集成一组多尺度变形矢量场（DVF）。DRDM被训练学习恢复不合理的变形组件，从而将每个随机变形的图像恢复到现实分布。这些创新有助于生成多样化和解剖学合理的变形，增强了数据增强和合成，以进行下游任务的进一步分析，如少样本学习和图像配准。心脏MRI和肺CT的实验结果显示，DRDM能够创建多样化、大型（超过10\%的图像大小变形比例）和高质量（雅可比矩阵行列式的负率低于1\%）的变形场。下游任务的进一步实验结果，包括2D图像分割和3D图像配准，表明DRDM带来了显著的改进，展示了我们的模型在医学影像学和其他领域中推进图像操作和合成的潜力。项目页面：https://jianqingzheng.github.io/def_diff_rec/

论文旨在解决医学影像领域中合成图像生成任务中的一些问题，如生成图像与现有图像之间的可解释连接不足和可能产生的幻觉。

文中提出了一种新颖的基于变形扩散和恢复的生成模型，名为Deformation-Recovery Diffusion Model（DRDM），通过引入保拓扑性的变形场生成方法，强调形态学变化而不是直接图像合成。

该模型能够生成多样化和解剖学上合理的变形，增强数据增强和合成，用于下游任务如少样本学习和图像配准。实验结果表明DRDM能够生成大规模（超过10％的图像尺寸变形比例）和高质量（Jacobian矩阵行列式的负率低于1％）的变形场，并在下游任务中实现了显着改进。

在医学影像领域中，最近的相关研究包括：Variational Autoencoder for Semi-Supervised Lesion Detection in Breast Ultrasound，Deep Learning-Based Segmentation of Major Vessels in 3D Ultrasound Images of the Carotid Artery，以及Multi-Modal Medical Image Fusion Using a Two-Stream CNN with Mutual Compensation。