DreamSampler: Unifying Diffusion Sampling and Score Distillation for Image Manipulation

最近几年，使用潜在扩散模型（LDMs）进行图像操作的主要工作方法是反向采样和分数蒸馏。虽然反向扩散采样通常需要调整LDM架构或特征工程，但分数蒸馏提供了一种简单而强大的模型无关方法，但往往容易出现模式崩溃。为了解决这些限制并利用两种方法的优势，我们在这里介绍了一种称为DreamSampler的新框架，它通过正则化的潜在优化将这两种不同的方法无缝集成起来。与分数蒸馏类似，DreamSampler是一种适用于任何LDM架构的模型无关方法，但它允许使用额外的指导进行图像编辑和重构的蒸馏和反向采样。通过涉及图像编辑、SVG重构等的实验，我们展示了DreamSampler相对于现有方法的竞争性能，同时提供了新的应用。

本论文旨在解决使用潜在扩散模型进行图像编辑时，反向采样和分数蒸馏的局限性，提出一种名为DreamSampler的新框架，通过正则化潜在空间优化，无缝集成这两种方法，以便更好地进行图像编辑和重建。

DreamSampler将反向采样和分数蒸馏两种方法整合，通过正则化潜在空间优化实现模型无关的图像编辑和重建。

论文提出了一种新的框架DreamSampler，可以在任何潜在扩散模型架构上进行分数蒸馏和反向采样，并提供额外的图像编辑和重建指导。实验结果表明，DreamSampler在图像编辑和SVG重建方面的表现与现有方法相比具有竞争力。

最近的相关研究包括使用潜在扩散模型进行图像编辑的研究，以及反向采样和分数蒸馏在图像生成领域的应用。