ReNoise: Real Image Inversion Through Iterative Noising

最近，文本引导扩散模型的进展已经解锁了强大的图像操作能力。然而，将这些方法应用于真实图像需要将图像反演到预训练扩散模型的领域中。实现忠实的反演仍然是一个挑战，特别是对于那些训练用于生成具有少量去噪步骤的图像的最新模型。在这项工作中，我们介绍了一种高质量操作比的反演方法，可以提高重建精度而不增加操作次数。基于反向扩散采样过程，我们的方法在每个反演采样步骤中采用迭代去噪机制。这个机制通过迭代应用预训练的扩散模型并对这些预测进行平均来改进沿着正向扩散轨迹预测的点的逼近。我们使用各种采样算法和模型，包括最近的加速扩散模型，评估了我们的ReNoise技术的性能。通过全面的评估和比较，我们展示了它在准确性和速度方面的有效性。此外，我们通过演示基于文本的图像编辑来证实我们的方法保留了可编辑性。

本文旨在解决将真实图像反演到预训练扩散模型域中的问题，特别是对于生成具有少量去噪步骤的图像的最新模型，实现准确的反演仍然是一个挑战。

本文提出了一种高质量-操作比的反演方法，通过在每个反演采样步骤中使用迭代的去噪机制来提高重建精度，而不增加操作次数。该机制通过预测的前向扩散轨迹点的迭代应用预训练扩散模型，并对这些预测进行平均来细化逼近。

本文使用各种采样算法和模型对ReNoise技术进行了评估，包括最近的加速扩散模型。通过全面的评估和比较，证明了该方法在准确性和速度方面的有效性。此外，本文通过演示对真实图像进行文本驱动的图像编辑来证明了该方法的可编辑性。

最近的相关研究包括《Image GPT: Generative Pretraining from Pixels》、《Improved Denoising Diffusion Probabilistic Models》等。