Graphic Design with Large Multimodal Model

在平面设计领域，自动化整合设计元素以形成一个有机的多层次艺术品不仅提高了生产效率，还为平面设计的民主化铺平了道路。目前已有的一种实践是平面布局生成（GLG），它旨在布局连续的设计元素。然而，它被预定义的正确图层顺序所限制，从而限制了创意潜力并增加了用户的工作量。本文介绍了分层布局生成（HLG）作为一种更灵活实用的设置，它可以从无序的设计元素集合中创建图形组合。为了解决HLG任务，我们推出了Graphist，它是基于大型多模型的布局生成模型。Graphist将HLG高效地重新构建为序列生成问题，利用RGB-A图像作为输入，输出一个JSON草稿协议，指示每个元素的坐标、大小和顺序。我们为HLG开发了新的评估指标。Graphist优于现有技术，并为该领域奠定了坚实的基础。项目主页：https://github.com/graphic-design-ai/graphist。

解决问题：论文提出了一种更加灵活和实用的图形布局生成方法，旨在解决现有方法中需要预定义正确图层顺序的限制，从而限制了创意潜力和用户工作量的问题。

关键思路：论文提出了一种基于大型多模型的布局生成模型Graphist，将图形布局生成问题转化为序列生成问题，可以从无序的设计元素集合中创建图形组合。

其他亮点：论文开发了新的评估指标来评估层次布局生成（HLG），并证明Graphist优于现有方法，并为该领域建立了强有力的基础。该项目还提供了开源代码，可以在GitHub上找到。

相关研究：最近在这个领域中，还有一些相关研究，如《GL2Net: Learning Graph Layout for Network Visualization》和《Neural Network-based Design Generation for Product Design》等。