Sparc3D: Sparse Representation and Construction for High-Resolution 3D Shapes Modeling

高保真3D物体合成相比2D图像生成仍然显著更具挑战性，这是由于网格数据的非结构化特性以及密集体素网格的立方级复杂度。现有的两阶段流程——即先用VAE（采用2D或3D监督）压缩网格，再通过潜在扩散采样生成结果——通常会因VAE引入的低效表示和模态不匹配而遭受严重细节损失。我们提出了Sparc3D，这是一种统一框架，结合了稀疏可变形Marching Cubes表示法（Sparcubes）与一种新型编码器Sparconv-VAE。Sparcubes通过将带符号距离场和形变场散布到稀疏立方体上，将原始网格转换为具有任意拓扑结构的高分辨率（1024³）表面，从而实现可微分优化。Sparconv-VAE是首个完全基于稀疏卷积网络构建的模态一致变分自编码器，能够高效且几乎无损地进行3D重建，适用于通过潜在扩散实现的高分辨率生成建模。Sparc3D在包括开放表面、分离组件和复杂几何形状在内的困难输入上达到了业界领先的重建保真度。它能够保留精细的形状细节，降低训练和推理成本，并自然地与潜在扩散模型集成，以实现可扩展的高分辨率3D生成。

论文试图解决高保真3D物体生成的问题，特别是针对网格数据的非结构化特性和密集体素网格的立方复杂度所带来的挑战。这是一个长期存在的问题，但目前的方法在细节保留和效率方面仍有不足。

论文提出了一种统一框架Sparc3D，结合稀疏可变形Marching Cubes表示（Sparcubes）与基于稀疏卷积网络的编码器（Sparconv-VAE）。Sparcubes通过将符号距离场和变形场散布到稀疏立方体上，实现高效且可微分的优化；Sparconv-VAE则首次实现了完全基于稀疏卷积网络的变分自编码器，从而解决了传统方法中的模态不一致问题，并支持高分辨率生成任务。

1. Sparc3D在开放表面、断开组件和复杂几何形状等具有挑战性的输入上表现出色；2. 方法能够近似无损地重建3D形状，同时显著减少训练和推理成本；3. 论文展示了在多个基准数据集上的实验结果，验证了其优越性；4. 开源代码和详细实验设置为后续研究提供了便利；5. 提出了进一步探索稀疏表示在更高分辨率生成任务中的潜力。

相关研究包括：1.《PointFlow: 3D Point Cloud Generation with Continuous Normalizing Flows》探讨了基于流模型的点云生成；2.《Occupancy Networks: Learning 3D Reconstruction in Function Space》提出了基于隐式函数的3D重建方法；3.《GRANITE: Generative Radiance Fields for High-Resolution Neural 3D Scene Representation》关注高分辨率场景表示；4.《Deep Marching Cubes: Learning Explicit Shape Representation from Voxelized Data》研究了从体素数据中学习显式形状表示的方法。