DiffMorpher: Unleashing the Capability of Diffusion Models for Image Morphing

扩散模型已经取得了卓越的图像生成质量，超越了以前的生成模型。然而，与GAN相比，扩散模型的一个显著限制是它们的潜在空间高度无结构，难以在两个图像样本之间平滑插值。这样的平滑插值具有很多应用，自然地成为图像变形任务的解决方案。在这项工作中，我们提出了DiffMorpher，这是第一个使用扩散模型实现平滑自然图像插值的方法。我们的关键思想是通过分别适应两个LoRAs来捕捉两个图像的语义，并在LoRA参数和潜在噪声之间插值，以确保平滑的语义转换，无需注释即可自动出现对应关系。此外，我们提出了一种注意力插值和注入技术和一种新的采样计划，以进一步增强连续图像之间的平滑性。广泛的实验表明，DiffMorpher在各种物体类别上实现了比以前的方法更好的图像变形效果，弥合了区分扩散模型和GAN的关键功能差距。

解决问题：DiffMorpher论文试图解决Diffusion models在图像插值方面的限制，即难以平滑地在两个图像样本之间进行插值。

关键思路：DiffMorpher的关键思路是通过拟合两个图像样本的LoRAs，以及在潜在噪声和LoRA参数之间插值，来实现平滑的语义过渡，从而实现自动对应。此外，文中还提出了注意力插值和注入技术以及新的采样计划，以进一步增强连续图像之间的平滑度。

其他亮点：DiffMorpher通过实验展示出比以前的方法更好的图像变形效果，跨越了Diffusion models和GANs之间的重要功能差距。文中使用了多种对象类别的数据集进行实验，并且开源了代码。值得进一步深入研究的是注入技术和新的采样计划。

相关研究：最近的相关研究包括DeepDream、StyleGAN和CycleGAN等。