Addressing degeneracies in latent interpolation for diffusion models

使用图像生成扩散模型进行深度数据增强和图像变形的研究兴趣日益增加。在这种背景下，通过对一组输入图像反转产生的潜在变量（latents）进行插值，可以生成代表输入混合的新图像，这非常有用。我们观察到，当输入图像数量较大时，这种插值容易导致退化结果。我们从理论和实验两方面分析了这种效应的原因，并提出了一种适当的解决方案。所建议的方法是一种相对简单的归一化方案，可以在需要对潜在变量进行插值时轻松应用。我们通过FID和CLIP嵌入距离来衡量图像质量，并通过实验证明，基线插值方法在退化问题明显显现之前，质量指标就已经下降。相比之下，我们的方法显著减少了退化效应，并且即使在非退化情况下也能提升质量指标。

论文试图解决在使用图像生成扩散模型进行深度数据增强和图像变形时，当输入图像数量较大时，通过插值生成的新图像容易出现退化的问题。这是一个新问题，特别是在多输入插值场景下。

论文提出了一种简单的归一化方案来解决插值退化问题。相比现有方法，该方案能够在插值过程中保持生成图像的质量，并显著减少退化现象的发生。其创新点在于从理论上分析了退化的成因，并通过实验验证了归一化方案的有效性。

论文通过FID和CLIP嵌入距离等指标衡量图像质量，展示了基线插值方法在非明显退化情况下已经存在质量问题，而提出的归一化方法能够显著改善这些指标。实验设计包括不同输入数量下的插值测试，验证了方法的鲁棒性。虽然未提及具体数据集和代码开源情况，但研究为后续探索插值优化提供了方向，例如扩展到更多样化的图像类型或结合其他生成模型。

最近的相关研究包括：1)《Image Morphing with Latent Space Interpolation in Diffusion Models》探讨了扩散模型中潜在空间插值的应用；2)《Deep Data Augmentation via Latent Space Manipulation》研究了潜在空间操作对数据增强的影响；3)《Stable Diffusion for High-Quality Image Generation》介绍了稳定扩散模型在高质量图像生成中的进展。这些研究共同推动了扩散模型在图像生成和增强领域的应用。