SwapAnything: Enabling Arbitrary Object Swapping in Personalized Visual Editing

有效的个人内容编辑在使个人能够表达自己的创造力、在视觉故事中编织引人入胜的叙述并提高其视觉内容的整体质量和影响力方面起着至关重要的作用。因此，在本文中，我们介绍了SwapAnything，这是一个新颖的框架，可以将图像中的任何对象与参考中给出的个性化概念进行交换，同时保持上下文不变。与现有的个性化主题交换方法相比，SwapAnything具有三个独特的优点：（1）精确控制任意对象和部分而不是主题，（2）更忠实地保留上下文像素，（3）更好地适应个性化概念与图像的结合。首先，我们提出了有针对性的变量交换，对潜在的特征映射应用区域控制，并交换掩码变量以保留忠实的上下文和初始语义概念交换。然后，我们引入了外观适应，通过图像生成过程中的目标位置、形状、风格和内容无缝地将语义概念适应到原始图像中。对于个性化交换，我们在人类和自动评估方面进行了广泛的结果，证明了我们的方法在基线方法上取得了显著的改进。此外，SwapAnything在单个对象、多个对象、部分对象和跨域交换任务中表现出其精确和忠实的交换能力。SwapAnything在基于文本的交换和超出交换的任务（如对象插入）方面也取得了很好的性能。

SwapAnything是一种新的框架，旨在解决个人内容编辑中的物体替换问题。该论文试图解决如何更精确地控制任意对象和部分而不是主体，如何更忠实地保留上下文像素，以及如何更好地将个性化概念适应于图像的问题。

SwapAnything的关键思路是通过目标变量交换和外观适应两个步骤实现物体替换。目标变量交换通过对潜在特征图的区域控制和交换掩码变量来实现对任意对象和部分的精确控制和上下文保留。外观适应通过图像生成过程中的目标位置、形状、风格和内容等方面，将个性化概念与原始图像无缝适应。

SwapAnything在单个对象、多个对象、部分对象和跨域交换任务上展现出了精确和忠实的交换能力。论文在人类和自动评估方面的广泛结果表明，与基线方法相比，SwapAnything在个性化交换方面取得了显着的改进。此外，SwapAnything在基于文本的交换和物体插入等任务上也取得了良好的性能。论文还提供了实验细节和代码。

最近在这个领域中，与SwapAnything相关的研究包括：《Gaugan: One-Shot Neural Rendering of Arbitrary Real-World Scenes》、《Generative Adversarial Networks》、《Image-to-Image Translation with Conditional Adversarial Networks》等。