Drag Your Noise: Interactive Point-based Editing via Diffusion Semantic Propagation

DragNoise是一种强大且高效的交互式编辑工具，可以帮助用户快速地编辑扩散潜在地图，而无需重新跟踪潜在地图。与DragDiffusion不同，DragNoise利用每个U-Net的预测噪声输出作为语义编辑器，从而实现鲁棒且加速的编辑。DragNoise的核心思想在于利用U-Net的瓶颈特征，这些特征本身就具有丰富的语义特征，非常适合交互式编辑。此外，早期去噪过程中建立的高层语义在后续阶段中变化很小。DragNoise利用这些洞见，在单个去噪步骤中编辑扩散语义，并高效地传播这些变化，确保扩散编辑的稳定性和效率。比较实验表明，与DragDiffusion相比，DragNoise实现了更好的控制和语义保留，并将优化时间缩短了50%以上。我们的代码可在https://github.com/haofengl/DragNoise上获得。

本文旨在通过点基交互式编辑来补充现有生成模型的可控性。相比于现有的DragDiffusion方法，本文提出的DragNoise方法旨在提供更加稳健和高效的编辑方式。

DragNoise方法的核心思想是利用U-Net的预测噪声输出作为语义编辑器，通过单一的去噪步骤来编辑扩散语义，并有效地传播这些变化，从而确保扩散编辑的稳定性和效率。

本文的亮点包括：1. 提出了DragNoise方法，相比于DragDiffusion方法，能够实现更好的控制和语义保留，并将优化时间缩短了50%以上；2. 通过利用U-Net的瓶颈特征作为交互式编辑的理想语义特征，实现了更加稳健和高效的编辑方式；3. 在实验中使用了多个数据集，并提供了开源代码。值得进一步研究的工作包括如何将DragNoise方法应用于其他任务中。

在这个领域中，最近的相关研究包括DragDiffusion，以及其他点基交互式编辑的方法，如DeepIE和Pointwise。