Rethinking Score Distillation as a Bridge Between Image Distributions

分数蒸馏采样（SDS）已被证明是一种重要的工具，使得在数据匮乏的领域中使用大规模扩散先验成为可能。不幸的是，SDS具有一些特征性的伪影，限制了其在通用应用中的实用性。在本文中，我们通过将其视为解决从源分布到目标分布的最优成本传输路径，从而使得对SDS及其变体行为的理解有所进展。在这个新的解释下，这些方法试图将损坏的图像（源）传输到自然图像分布（目标）。我们认为当前方法的特征性伪影是由于（1）最优路径的线性逼近和（2）源分布的估计不准确所导致的。我们展示了通过校准源分布的文本条件可以产生高质量的生成和翻译结果，而且额外开销很小，这个方法可以轻松应用于许多领域，与专门的方法相匹配或超越其性能。我们展示了它在文本到2D、基于文本的NeRF优化、将绘画转换为真实图像、光学幻觉生成和3D素描到真实的应用实用性。我们将我们的方法与现有的分数蒸馏采样方法进行了比较，并展示它可以产生具有逼真颜色的高频细节。

本论文旨在解决Score Distillation Sampling（SDS）在一般应用中存在的问题，即特征伪影和生成图像的低质量。作者通过将SDS视为从源分布到目标分布的最优代价传输路径来解释其行为，提出了一种新的方法来解决这些问题。

通过校准源分布的文本条件，提高SDS的质量，进而生成高质量的图像。

本文提出的方法在多个领域中都表现出了很好的效果，包括文本到2D、文本到NeRF、绘画到真实图像、光学错觉生成和3D草图到真实图像。同时，与现有方法相比，本文方法可以生成具有逼真颜色和高频细节的图像。

相关研究包括基于GAN的图像生成方法，如DCGAN、CycleGAN、StarGAN等。