ObjectAdd: Adding Objects into Image via a Training-Free Diffusion Modification Fashion

我们介绍了一种名为ObjectAdd的无需训练的扩散修改方法，用于将用户期望的对象添加到用户指定的区域。ObjectAdd的动机源于两点：第一，用一句话描述所有内容可能很困难；第二，用户经常需要将对象添加到生成的图像中。为了适应实际世界，我们的ObjectAdd通过以下技术创新来在添加对象后保持准确的图像一致性：（1）嵌入级联接以确保正确的文本嵌入融合；（2）基于对象的布局控制，使用潜在和注意力注入来确保对象访问用户指定的区域；（3）在关注点重新聚焦和对象扩展的方式下进行提示图像修补，以确保图像的其余部分保持不变。通过一个文本提示的图像，我们的ObjectAdd允许用户指定一个框和一个对象，并实现：（1）在框区域内添加对象；（2）确切的内容在框区域外；（3）两个区域之间的完美融合。

ObjectAdd试图解决在生成图像时添加用户期望的对象的问题，同时保持图像一致性。

ObjectAdd通过嵌入级别的连接、对象驱动的布局控制和提示图像修复等技术创新，实现在用户指定区域添加对象并保持图像一致性。

ObjectAdd允许用户指定一个框和一个对象，并实现在框区域内添加对象，框外区域保持原样，两个区域之间无缝融合。论文使用文本提示图像，没有使用训练数据。实验结果表明，ObjectAdd可以成功地添加对象并保持图像一致性。

最近的相关研究包括：Image Inpainting, GAN-based Image Synthesis, Text-to-Image Generation等。