CGB-DM: Content and Graphic Balance Layout Generation with Transformer-based Diffusion Model

布局生成是智能设计的基础任务，需要将视觉美学与内容表达的和谐融合。然而，现有方法在生成精确且视觉吸引人的布局方面仍面临挑战，包括布局之间的阻挡、重叠或空间不对齐，这些问题与图形布局的空间结构密切相关。我们发现这些方法过于关注内容信息，缺乏对布局空间结构的约束，导致了学习内容感知和图形感知特征的不平衡。为了解决这个问题，我们提出了基于Transformer扩散模型的内容和图形平衡布局生成（CGB-DM）。具体来说，我们首先设计了一个调节器来平衡预测的内容和图形权重，克服了更多地关注画布上的内容的倾向。其次，我们引入了一个基于显著性边界框的图形约束，进一步增强了布局表示和图像之间几何特征的对齐。此外，我们采用Transformer扩散模型作为骨干网络，其强大的生成能力保证了布局生成的质量。广泛的实验结果表明，我们的方法在定量和定性评估中均取得了最先进的性能。我们的模型框架也可以扩展到其他图形设计领域。

解决问题：论文试图解决生成精确且视觉吸引力强的设计布局的问题，包括布局之间的阻塞、重叠或空间不对齐。

关键思路：提出了一种基于Transformer扩散模型的内容和图形平衡布局生成方法（CGB-DM），通过平衡预测的内容和图形权重来解决现有方法过度关注内容信息而忽略布局空间结构的问题。同时引入图形约束，进一步增强了布局表示和图像之间几何特征的对齐。

其他亮点：实验结果表明，该方法在定量和定性评估中均取得了最先进的性能。该模型框架也可以扩展到其他图形设计领域。

相关研究：最近的相关研究包括“Neural Layout Synthesis”和“DeepLogo”。