EchoScene: Indoor Scene Generation via Information Echo over Scene Graph Diffusion

我们提出了EchoScene，这是一个交互式、可控的生成模型，可以在场景图上生成3D室内场景。EchoScene利用了一个双分支扩散模型，该模型动态适应场景图。由于节点数目不同、多个边缘组合和操作引起的节点-边缘操作，现有方法难以处理场景图。EchoScene通过将每个节点与去噪过程相关联，并启用协同信息交换，增强了对全局约束条件的可控和一致生成。这是通过形状和布局分支中的信息回声方案实现的。在每个去噪步骤中，所有过程都与信息交换单元共享其去噪数据，该单元使用图卷积将这些更新组合起来。该方案确保去噪过程受到对场景图的整体理解的影响，有助于生成全局一致的场景。生成的场景可以在推理过程中通过编辑输入场景图和对扩散模型中的噪声进行采样来进行操作。广泛的实验验证了我们的方法，该方法保持了场景的可控性，并超越了以前的方法在生成保真度方面。此外，生成的场景质量很高，因此可以直接与现成的纹理生成兼容。代码和训练模型已开源。

EchoScene试图解决3D室内场景生成中的场景图问题，即如何在动态适应场景图的情况下生成具有全局一致性的场景。

EchoScene采用了双分支扩散模型，并将每个节点与去噪过程相关联，通过信息回声方案实现形状和布局分支的协作信息交换，从而生成具有全局一致性的场景。

论文的实验结果表明，EchoScene生成的场景具有高质量和全局一致性，并且可以在推理过程中进行编辑。论文还开源了代码和训练模型。

与EchoScene相关的研究包括：《Neural 3D Mesh Renderer》、《Learning to Generate 3D Indoor Scenes with Convolutional Networks》等。