Desigen: A Pipeline for Controllable Design Template Generation

本文介绍了Desigen，这是一个自动模板创建流程，可以生成背景图像以及背景上的和谐布局元素。与自然图像不同，背景图像应该保留足够的非显著空间来叠加布局元素。为了使现有的高级扩散模型具有更强的空间控制能力，我们提出了两种简单但有效的技术，在背景生成过程中约束显著性分布并减少所需区域的注意权重。然后，在背景的条件下，我们使用基于Transformer的自回归生成器合成布局。为了实现更和谐的组合，我们提出了一种迭代推理策略，以多轮调整合成的背景和布局。我们构建了一个设计数据集，包括40,000多个广告横幅，以验证我们的方法。广泛的实验表明，所提出的流程生成的高质量模板与人类设计师相当。我们还展示了演示生成的应用，可以输出一组主题一致的幻灯片。数据和代码可在https://whaohan.github.io/desigen上获得。

论文旨在解决自动模板创建问题，即生成既有背景又有和谐布局元素的模板，以替代手动设计。

论文提出了一种自动模板创建流程，包括两个技术：通过限制显著性分布和减少特定区域的注意力权重来控制背景生成过程中的空间布局；使用基于Transformer的自回归生成器在背景的条件下生成布局。此外，还提出了迭代推理策略来调整生成的背景和布局，以实现更和谐的组合。

论文构建了一个包含40k个广告横幅的设计数据集，验证了提出的方法生成的模板质量与人类设计师相当。此外，还展示了一种应用——生成主题一致的幻灯片集。数据和代码可在https://whaohan.github.io/desigen上获取。

在这个领域中，最近的相关研究包括：《Neural Design Network: Graphic Layout Generation with Constraints》、《Neural Layout Synthesis》等。