LooseControl: Lifting ControlNet for Generalized Depth Conditioning

我们提出了LooseControl，以允许扩展的深度条件用于基于扩散的图像生成。ControlNet是深度条件图像生成的SOTA，可以产生出色的结果，但需要访问详细的深度图以进行指导。在许多场景中，创建这样精确的深度图是具有挑战性的。本文介绍了深度条件的通用版本，使许多新的内容创建工作流程成为可能。具体而言，我们允许（C1）场景边界控制，仅通过边界条件松散地指定场景，以及（C2）3D盒子控制，用于指定目标对象的布局位置，而不是对象的确切形状和外观。使用LooseControl，以及文本指导，用户可以仅通过指定场景边界和主要对象的位置来创建复杂的环境（例如房间、街景等）。此外，我们提供了两种编辑机制来优化结果：（E1）3D盒子编辑使用户可以通过更改、添加或删除盒子来改进图像，同时冻结图像的风格。这将产生最小的变化，除了由编辑的盒子引起的变化。 （E2）属性编辑提出了可能的编辑方向，以改变场景的某个特定方面，例如整体对象密度或特定对象。广泛的测试和与基线的比较证明了我们方法的通用性。我们相信LooseControl可以成为一个重要的设计工具，用于轻松创建复杂的环境，并可扩展到其他形式的指导通道。代码和更多信息可在https://shariqfarooq123.github.io/loose-control/上找到。

LooseControl试图解决的问题是在没有详细深度图的情况下，实现深度条件下的图像生成，以及通过指定场景边界和目标物体的位置来创建复杂环境的问题。

LooseControl的关键思路是通过引入一种广义的深度条件方法，使得用户只需要指定场景边界和目标物体的位置，就可以创建复杂环境。此外，还提供了两种编辑机制，包括3D盒子编辑和属性编辑。

论文设计了一系列实验来验证LooseControl的有效性，并与基准方法进行了比较。同时，作者还提供了代码和更多信息，方便其他研究人员进行进一步研究。

在这个领域中，还有一些相关的研究，例如ControlNet等。