Move Anything with Layered Scene Diffusion

扩散模型可以生成质量前所未有的图像，但是我们如何自由地重新排列图像布局呢？最近的研究通过学习空间分离的潜在编码生成可控场景，但是这些方法由于其固定的前向过程不适用于扩散模型。在本文中，我们提出了SceneDiffusion，通过扩散采样过程中优化分层场景表示来实现空间可控。我们的关键洞察是，通过联合去噪不同空间布局的场景渲染，可以获得空间分离。我们生成的场景支持广泛的空间编辑操作，包括移动、调整大小、克隆和逐层外观编辑操作，包括对象重置和替换。此外，可以在参考图像的条件下生成场景，从而实现野外图像的对象移动。值得注意的是，这种方法无需训练，与通用的文本到图像扩散模型兼容，并且响应速度不到一秒。

本篇论文提出了一种名为SceneDiffusion的方法，旨在解决扩展图像布局的问题。具体而言，该方法试图在扩展图像布局的同时保持图像的质量和连续性。

SceneDiffusion方法通过在扩散采样过程中优化分层场景表示来实现空间解缕。该方法的关键思路是通过同时去噪不同空间布局的场景渲染图像来获得空间解缕。

SceneDiffusion方法可以进行多种空间编辑操作，包括移动、调整大小、克隆和分层外观编辑操作，例如对象重排和替换。此外，该方法还可以在参考图像的条件下生成场景，从而实现野外图像的对象移动。该方法无需训练，与通用的文本到图像扩散模型兼容，并且响应速度快。

最近的相关研究包括：《Generative Adversarial Networks》、《Variational Autoencoders》、《Diffusion Models》等。