ControlRoom3D: Room Generation using Semantic Proxy Rooms

手动创建AR/VR应用程序的3D环境是一个复杂的过程，需要在3D建模软件方面具有专业知识。先驱性的工作通过生成基于文本风格描述的房间网格来简化此过程。然而，许多自动生成的3D网格不遵循典型的房间布局，从而损害了它们的可信度，例如在一个卧室里放置多张床。为了解决这些挑战，我们提出了ControlRoom3D，一种生成高质量房间网格的新方法。我们方法的核心是用户定义的3D语义代理房间，它基于语义边界框和整体房间风格的文本描述勾勒出粗略的房间布局。我们的关键洞察是，当渲染成2D时，这个3D表示提供了有价值的几何和语义信息，以控制强大的2D模型生成与代理房间对齐的3D一致纹理和几何。通过广泛的研究，包括定量指标和定性用户评估，我们的方法生成了多样化且全球可信的3D房间网格，从而使用户无需专业知识轻松设计3D房间。

生成AR/VR应用程序的3D环境是一个复杂的过程，需要专业的3D建模软件知识。自动生成的3D网格不符合典型的房间布局，这会影响其可信度。

使用用户定义的3D语义代理房间作为基础，通过2D模型生成与代理房间相符的3D一致纹理和几何图形。

论文提出的方法能够生成多样化且全球可信的3D房间网格，使用户能够轻松设计3D房间而不需要专业知识。通过量化指标和定性用户评估的广泛研究支持，论文的方法得到了验证。

相关研究包括使用深度学习生成3D模型的方法，以及使用语义信息生成3D模型的方法，例如《Generating 3D Scenes from Text》和《Semantic 3D Scene Generation with Spatially-Adaptive Normalization》。