PosterLlama: Bridging Design Ability of Langauge Model to Contents-Aware Layout Generation

视觉布局在广告、海报和网页UI设计等平面设计领域中起着至关重要的作用。最近，通过生成模型进行内容感知布局生成的趋势表现出了希望，但它经常忽略了布局设计的语义复杂性，将其视为简单的数字优化。为了弥合这个差距，我们介绍了PosterLlama，这是一个网络，旨在通过将布局元素重新格式化为HTML代码并利用嵌入在语言模型中的丰富设计知识来生成视觉和文本上连贯的布局。此外，我们通过独特的基于深度的海报增强策略增强了模型的鲁棒性。这确保了我们生成的布局保持语义丰富，但在数据有限的情况下也具有视觉吸引力。我们在几个基准测试中进行了广泛的评估，证明PosterLlama在生成真实和内容感知布局方面优于现有方法。它支持无条件布局生成、元素条件布局生成、布局完成等无与伦比的条件，是一个非常多才多艺的用户操作工具。

该论文旨在通过重新格式化布局元素为HTML代码，并利用嵌入在语言模型中的丰富设计知识，生成视觉和文本上连贯的布局，从而弥补生成模型在布局设计中忽略语义复杂性的缺陷。

该论文提出了PosterLlama，一种用于生成视觉和文本上连贯的布局的网络，通过利用深度学习和独特的海报增强策略，PosterLlama可以生成语义丰富、视觉上吸引人的布局，即使数据有限也能保持鲁棒性。

该论文的实验表明，PosterLlama在生成真实且内容感知的布局方面优于现有方法。PosterLlama支持无条件布局生成、元素条件布局生成、布局完成等一系列条件，是一种高度灵活的用户操作工具。

最近的相关研究包括《Generating Layouts with the Transformer: The Recipe to the Secret Sauce》、《Deep Layout: Layout Generation Using Depth Images and Graph Convolutional Networks》等。