HouseCrafter: Lifting Floorplans to 3D Scenes with 2D Diffusion Model

我们介绍了一种新方法，名为HouseCrafter，可以将一个平面图转化为一个完整的大型3D室内场景（例如房屋）。我们的关键洞察是，采用一个在网络规模图像上训练的二维扩散模型，以生成在场景不同位置具有一致多视角颜色（RGB）和深度（D）图像。具体而言，RGB-D图像是根据平面图在批处理方式下沿采样位置自回归生成的，其中之前生成的图像被用作扩散模型的条件，以在附近位置生成图像。扩散模型中的全局平面图和注意力设计确保了生成图像的一致性，从而可以重建3D场景。通过对3D-Front数据集的广泛评估，我们展示了HouseCrafter可以生成高质量的房屋级别3D场景。消融研究还验证了不同设计选择的有效性。我们将发布我们的代码和模型权重。项目页面：https://neu-vi.github.io/houseCrafter/

论文旨在通过将2D扩散模型应用于室内场景生成，解决从平面图到3D室内场景的转换问题。这是一个新的问题。

通过扩散模型在基于平面图采样的位置上自回归生成RGB-D图像，从而生成一致的多视角图像，再通过这些图像重建3D场景。

论文在3D-Front数据集上进行了大量实验，表明了HouseCrafter可以生成高质量的大型3D室内场景。此外，论文还进行了消融实验，验证了不同设计选择的有效性，并将代码和模型权重开源。

与该论文相关的研究包括：1.基于深度学习的3D重建方法，如3D-R2N2；2.基于平面图的室内场景生成方法，如FloorNet。