InstructLayout: Instruction-Driven 2D and 3D Layout Synthesis with Semantic Graph Prior

本文介绍了一种名为InstructLayout的新型生成框架，它结合了语义图先验和布局解码器，以提高2D和3D布局合成的可控性和保真度。现有方法隐含地建模对象联合分布并表达对象关系，从而阻碍了生成的可控性。所提出的语义图先验同时学习布局外观和对象分布，展示了在各种下游任务中的通用性，以零样本的方式进行。为了促进基于文本驱动的2D和3D场景合成的基准测试，我们分别从公共互联网资源中策划了两个高质量的数据集，其中包含大型语言和多模型。广泛的实验结果表明，所提出的方法在2D和3D布局合成任务中均大大优于现有的最先进方法。彻底的消融研究证实了关键设计组件的功效。

本论文旨在提高2D和3D布局合成的可控性和保真度，解决现有方法难以控制生成结果的问题，同时验证了使用语义图先验的有效性。

论文提出了一种新的生成框架InstructLayout，将语义图先验和布局解码器相结合，同时学习布局外观和对象分布，提高了生成结果的可控性和保真度，可适用于各种下游任务。

论文使用了两个高质量的数据集进行实验，并进行了详细的实验设计和结果分析，证明了InstructLayout方法在2D和3D布局合成任务中的优越性。此外，论文还探讨了关键设计组件的有效性，并提供了开源代码。

最近在这个领域中，还有一些相关的研究，如《Generative Modeling of Scene Graphs for Layout Generation》和《Neural Scene Graphs for Dynamic Scenes》等。