Move and Act: Enhanced Object Manipulation and Background Integrity for Image Editing

目前，为了解决一致图像编辑任务，常用的方法通常采用倒置、重建和编辑的三分支结构。然而，这些方法缺乏对编辑对象生成位置的控制，并且在背景保留方面存在问题。为了克服这些限制，我们提出了一种无需调整的方法，只需两个分支：倒置和编辑。该方法允许用户同时编辑对象的动作并控制编辑对象的生成位置。此外，它实现了更好的背景保留。具体而言，在特定的时间步骤中，我们将编辑对象信息传输到目标区域，并在倒置过程中修复或保留其他区域的背景。在编辑阶段，我们使用自注意力中的图像特征来查询倒置过程中相应时间步骤的键和值，以实现一致的图像编辑。令人印象深刻的图像编辑结果和定量评估证明了我们方法的有效性。代码可在 https://github.com/mobiushy/move-act 上获得。

论文解决的问题是如何进行更好的图像编辑，同时控制编辑对象的生成位置和背景保护。

论文提出了一种只有两个分支的无需调整的方法，即反演和编辑。该方法使用自注意力中的图像特征来查询反演中对应时间步的键和值，以实现一致的图像编辑，并在特定时间步骤的反演过程中将编辑对象的信息传输到目标区域，并修复或保护其他区域的背景。

论文的亮点包括：实现了更好的图像编辑，同时控制编辑对象的生成位置和背景保护；提出了只有两个分支的无需调整的方法；使用自注意力中的图像特征来查询反演中对应时间步的键和值，以实现一致的图像编辑；通过实验和定量评估证明了该方法的有效性；开源了代码。

在这个领域中，最近的相关研究包括："Generative Image Inpainting with Contextual Attention"和"Deep Image Prior"等。