Generative Photomontage

文本到图像模型是图像生成的强大工具。然而，生成过程类似于掷骰子，难以实现用户想要的单一图像。在本文中，我们提出了一个框架，通过从生成的图像的各个部分组合来创建所需的图像，从本质上形成生成的拼贴照片。给定使用相同输入条件和不同种子生成的图像堆栈，我们让用户使用刷子界面从生成的结果中选择所需的部分。我们介绍了一种新颖的技术，它接收用户的刷子笔画，使用扩散特征空间中的基于图形的优化对生成的图像进行分割，然后通过一种新的特征空间混合方法组合分割区域。我们的方法忠实地保留了用户选择的区域，同时将它们和谐地组合在一起。我们展示了我们灵活的框架可以用于许多应用，包括生成新的外观组合，修复不正确的形状和伪影以及改进提示对齐。我们展示了每个应用的令人信服的结果，并证明了我们的方法优于现有的图像混合方法和各种基线。

本论文旨在解决文本到图像生成中的随机性问题，提出了一种基于生成的图像部分组合的新框架，称为生成式拼贴，以满足用户对图像的需求。

该论文提出了一种基于用户选择的图像部分组合的生成式拼贴方法。通过使用刷子界面选择生成的图像中的所需部分，然后使用基于扩散特征空间的图形优化技术对图像进行分割，并通过一种新的特征空间混合方法将分割的区域组合起来。该方法能够保留用户选择的区域并将它们协调地组合在一起。

该论文的亮点包括：使用基于扩散特征空间的图形优化技术对图像进行分割，并通过一种新的特征空间混合方法将分割的区域组合起来；该方法可以用于生成新的外观组合、修复错误的形状和伪影，并改善提示对齐；实验结果表明，该方法优于现有的图像混合方法和各种基线。

最近在这个领域中，还有一些相关的研究，如《Generative Adversarial Networks》、《Image-to-Image Translation with Conditional Adversarial Networks》等。