Stable Diffusion 表现出了强大的视觉生成能力。然而，它们在生成具有空间、结构或几何控制的图像方面常常表现不足。ControlNet 和 T2I-adpater 等工作实现针对不同模态的可控图片生成，但能够在单一统一的模型中适应各种视觉条件，仍然是一个未解决的挑战。UniControl 在单一的框架内合并了各种可控的条件到图像（C2I）任务。

为了使 UniControl 有能力处理多样的视觉条件，作者引入了一个任务感知的 HyperNet 来调节下游的条件扩散模型，使其能够同时适应不同的 C2I 任务。UniControl 在九个不同的 C2I 任务上进行训练，展示了强大的视觉生成能力和 zero-shot 泛化能力。作者已开源模型参数和推理代码，数据集和训练代码也将尽快开源，欢迎大家交流使用。

 

 

 

 

图 1: UniControl 模型由多个预训练任务和 zero-shot 任务组成

动机：现有的可控图片生成模型都是针对单一的模态进行设计，然而 Taskonomy等工作证明不同的视觉模态之间共享特征和信息，因此本文认为统一的多模态模型具有巨大的潜力。

解决：本文提出了 MOE-style Adapter 和 Task-aware HyperNet 来实现 UniControl 中的多模态条件生成能力。并且作者建立了一个新的数据集 MultiGen-20M，包含 9 大任务，超过两千万个 image-condition-prompt 三元组，图片尺寸≥512。

优点: 1) 更紧凑的模型 (1.4B #params, 5.78GB checkpoint)，更少的参数实现多个 tasks。2) 更强大的视觉生成能力和控制的准确性。3) 在从未见过的模态上的 zero-shot 泛化能力。

为了克服先前工作的限制，本文提出了 UniControl，一个能同时处理语言和各种视觉条件的统一扩散模型。UniControl 的统一设计可以享受到提高训练和推理效率以及增强可控生成的优点。另一方面，UniControl 从不同视觉条件之间的固有联系中获益，来增强每个条件的生成效果。

UniControl 的统一可控生成能力依赖于两个部分，一个是 "MOE-style Adapter"，另一个是 "Task-aware HyperNet"。MOE-style Adapter 有 70K 左右的参数，可以从各种模态中学习低级特征图，Task-aware HyperNet 可以将任务指令作为自然语言提示输入，并输出任务 embedding 嵌入下游的网络中，来调制下游模型的参数来适应不同模态的输入。

该研究对 UniControl 进行预训练，以获得多任务和 zero-shot 学习的能力，包括五个类别的九个不同任务：边缘 (Canny, HED, Sketch)，区域映射 (Segmentation, Object Bound Box)，骨架 (Human Skeleton)，几何图 (Depth, Normal Surface) 和图片编辑 (Image Outpainting)。然后，该研究在 NVIDIA A100 硬件上训练 UniControl 超过 5000 个 GPU 小时 (当前新模型仍在继续训练)。并且 UniControl 展现出了对新任务的 zero-shot 适应能力。

该研究的贡献可以概括如下：

  • 该研究提出了 UniControl，一个能处理各种视觉条件的统一模型 (1.4B #params, 5.78GB checkpoint)，用于可控的视觉生成。

  • 该研究收集了一个新的多条件视觉生成数据集，包含超过 2000 万个图像 - 文本 - 条件三元组，涵盖五个类别的九个不同任务。

  • 该研究进行了实验，证明了统一模型 UniControl 由于学习了不同视觉条件之间的内在关系，超过了每个单任务的受控图像生成。

  • UniControl 表现出了以 zero-shot 方式适应未见过的任务的能力，展现了其在开放环境中广泛使用的可能性和潜力。

 

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除