Generating 3D House Wireframes with Semantics

我们提出了一种新的方法，使用自回归模型生成带有语义丰富度的3D房屋线框。与独立处理顶点、边缘和面的传统生成模型不同，我们的方法采用统一的基于线的表示，以改善学习3D线框结构的一致性。通过根据语义意义重新排序线序列，我们促进了序列生成过程中的无缝语义集成。我们的两阶段技术将基于图形的自编码器与基于变压器的解码器相结合，以学习潜在的几何标记并生成语义感知的线框。通过迭代预测和解码，在推理过程中，我们的模型产生了可以轻松分割成不同组件（如墙壁、屋顶和房间）的详细线框，反映了形状的语义本质。对全面的房屋数据集的实证结果验证了我们的模型相对于现有生成模型的卓越准确性、新颖性和语义保真度。更多结果和细节可以在https://vcc.tech/research/2024/3DWire找到。

本篇论文旨在提出一种新的方法，使用自回归模型生成带语义丰富的3D房屋线框图。

相较于传统的生成模型，该方法采用统一的基于线的表示，通过语义意义对线序列进行重新排序，以便在序列生成过程中实现无缝的语义集成。通过将基于图的自编码器与基于变压器的解码器相结合，学习潜在几何标记并生成具有语义感知的线框图。

该方法在细节和语义上都能够生成详细的线框图，并且可以轻松地将其分割成不同的组件，如墙壁、屋顶和房间，反映了形状的语义本质。实验结果表明，该模型相较于现有的生成模型具有更好的准确性、新颖性和语义保真度。

最近的相关研究包括：1. "Learning Hierarchical Shape Segmentation and Labeling from Online Repositories"；2. "Neural 3D Mesh Renderer"；3. "Learning to Infer Implicit Surfaces without 3D Supervision"。