XCube ($\mathcal{X}^3$): Large-Scale 3D Generative Modeling using Sparse Voxel Hierarchies

我们提出了一种新颖的生成模型$\mathcal{X}^3$（发音为XCube），用于高分辨率稀疏的三维体素格子，具有任意属性。我们的模型可以以前馈的方式生成数百万个体素，最高有效分辨率可达$1024^3$，无需耗时的测试时间优化。为了实现这一点，我们采用了一种分层体素潜在扩散模型，它以粗到细的方式使用基于高效VDB数据结构的自定义框架逐渐生成更高分辨率的格子。除了生成高分辨率对象外，我们还展示了XCube在100m×100m尺度的大型室外场景中的有效性，体素尺寸可以小至10cm。我们观察到相对于过去的方法，有明显的定性和定量改进。除了无条件生成外，我们还展示了我们的模型可用于解决各种任务，例如用户引导编辑，从单个扫描完成场景和文本到三维。更多结果和细节可以在https://research.nvidia.com/labs/toronto-ai/xcube/找到。

论文旨在提出一种新的生成模型，名为XCube，用于高分辨率稀疏三维体素网格的生成，包括任意属性。该模型可以在前馈方式下生成数百万体素，最高有效分辨率可达1024^3，而无需耗费时间的测试时间优化。

XCube采用分层体素潜在扩散模型，使用基于高效VDB数据结构的自定义框架以粗到细的方式生成分辨率越来越高的网格。与过去的方法相比，XCube不仅可以生成高分辨率对象，而且还可以在100m×100m的大型户外场景上使用，体素大小最小可达10cm。同时，XCube还可以用于多种任务，如用户引导编辑、从单个扫描中完成场景以及文本到3D等。

论文通过实验展示了XCube的有效性和优越性，包括生成高分辨率对象、解决各种任务、在大型户外场景上使用等。论文使用了自定义框架和高效VDB数据结构，并提供了开源代码。值得深入研究的工作包括如何进一步提高生成效率和生成更复杂的三维对象。

近期在这个领域中，还有一些相关的研究，如《Generative Models for 3D Point Clouds: A Review》、《Learning to Generate 3D Meshes with Generative Adversarial Networks》、《Learning to Generate 3D Models with Fewer Labels》等。