InstructLayout: Instruction-Driven 2D and 3D Layout Synthesis with Semantic Graph Prior

本文探讨了自然语言指令对于二维和三维布局合成系统的魅力特性。现有方法隐式地建模对象联合分布并表达对象关系，从而影响生成的可控性。本文提出了InstructLayout，这是一个新颖的生成框架，它整合了语义图先验和布局解码器，以提高二维和三维布局合成的可控性和保真度。所提出的语义图先验同时学习布局外观和对象分布，展示了在各种下游任务中以零样本的方式的多功能性。为了促进基于文本驱动的二维和三维场景合成的基准测试，我们分别从公共互联网资源中策划了两个高质量的数据集，其中包含具有大型语言和多模型的布局指令对。广泛的实验结果表明，所提出的方法在二维和三维布局合成任务中均优于现有的最先进方法。彻底的消融研究确认了重要设计组件的功效。

本篇论文的问题是如何提高2D和3D布局合成的可控性和保真度，以及如何在零样本情况下适用于各种下游任务。

本篇论文的关键思路是将语义图和布局解码器集成在一起，学习布局外观和对象分布，从而提高布局合成的可控性和保真度。

本文提出了InstructLayout，一个新的生成框架，可以在2D和3D布局合成中提高可控性和保真度。同时，本文还创建了两个高质量的数据集，用于文本驱动的2D和3D场景合成。实验结果表明，该方法在2D和3D布局合成任务中优于现有的最先进方法。此外，本文还进行了深入的消融研究，证明了关键设计组件的有效性。

最近在这个领域中，还有一些相关的研究，例如：《Neural Scene Graphs for Dynamic Scenes》、《Neural 3D Mesh Renderer》、《Generative Modeling of Scene Layouts with Graph Convolutional Networks》等。