SemCity: Semantic Scene Generation with Triplane Diffusion

本文介绍了一种名为“SemCity”的三维扩散模型，用于在现实世界的室外环境中生成语义场景。大多数三维扩散模型专注于生成单个对象、合成室内场景或合成室外场景，而很少涉及生成真实世界的室外场景。本文着重于通过在真实世界室外数据集上学习扩散模型来生成真实室外场景。与合成数据相比，真实室外数据集由于传感器限制通常包含更多的空白空间，从而在学习真实室外分布方面带来挑战。为了解决这个问题，我们利用三面图表示作为场景分布的代理形式，以便我们的扩散模型进行学习。此外，我们提出了一个与我们的三面扩散模型无缝集成的三面操作。该操作提高了我们的扩散模型在与室外场景生成相关的各种下游任务中的适用性，例如场景修补、场景扩展和语义场景完成的精细化。在实验结果中，我们证明了我们的三面扩散模型与现有工作相比在真实室外数据集SemanticKITTI中显示出有意义的生成结果。我们还展示了我们的三面操作可以方便地添加、删除或修改场景中的对象。此外，它还使场景扩展到城市级别成为可能。最后，我们评估了我们的方法在语义场景完成的精细化方面的效果，证明了我们的扩散模型通过学习场景分布来增强了语义场景完成网络的预测。我们的代码可在https://github.com/zoomin-lee/SemCity上获得。

本文旨在通过学习真实世界室外数据集上的扩散模型，生成真实世界室外场景。相比合成数据，真实数据集通常由于传感器限制而包含更多的空白空间，这给学习真实世界分布带来了挑战。

本文提出了一种三面图表示作为场景分布的代理形式，以便于我们的扩散模型进行学习。此外，我们还提出了一种三面图操作，可以与我们的扩散模型无缝集成，从而提高了我们的扩散模型在与室外场景生成相关的各种下游任务中的适用性。

本文提出的三面图扩散模型在真实室外数据集SemanticKITTI上展现出了有意义的生成结果。此外，我们还展示了我们的三面图操作可以无缝地添加、删除或修改场景中的对象，从而实现了场景的扩展。最后，我们还评估了我们的方法在语义场景完成细化方面的性能。

与本文相关的研究包括基于扩散模型的其他场景生成方法，以及其他语义场景完成细化的方法，例如基于图像分割和深度学习的方法。