3D Scene Generation from Scene Graphs and Self-Attention

合成逼真且多样化的室内三维场景布局，能够在模拟导航和虚拟现实等领域得到应用。作为场景的简洁而强大的表达形式，场景图已被证明非常适合作为生成布局的语义控制。我们提出了一种变体的条件变分自编码器（cVAE）模型，用于从场景图和平面图中合成三维场景。我们利用自注意力层的特性，捕捉场景中对象之间的高级关系，并将其作为我们模型的构建块。我们的模型利用图形转换器来估计房间中对象的大小、尺寸和方向，同时满足给定场景图中的关系。我们的实验表明，自注意力层能够导致更稀疏（多少）和更多样化的场景（多少）。在这项工作中，我们发布了第一个大规模数据集，用于从场景图中生成条件场景，包含超过XXX个房间（平面图和场景图）。

论文旨在使用场景图和平面图生成室内3D场景布局，以实现模拟导航和虚拟现实应用。这是一个新问题。

论文提出了一种基于条件变分自编码器（cVAE）模型的变体，利用自注意力层捕获场景中物体之间的高级关系，并将其作为模型的构建块。使用图形转换器估计房间中物体的大小、尺寸和方向，同时满足给定场景图中的关系。

论文使用自注意力层生成更稀疏和多样的场景，同时发布了一个大规模的数据集，包含超过XXX个房间的平面图和场景图。实验设计合理，使用了开源代码。

最近的相关研究包括：1. Learning to Generate 3D Indoor Scenes with Convolutional Networks；2. Neural Scene Graphs for Generative Modeling。