NeuSDFusion: A Spatial-Aware Generative Model for 3D Shape Completion, Reconstruction, and Generation

3D形状生成旨在生成符合特定条件和约束的创新性3D内容。现有方法通常将3D形状分解为一系列局部组件，将每个元素孤立处理，而不考虑空间一致性。因此，这些方法在3D数据表示和形状生成方面的多样性受到限制，阻碍了它们生成符合指定约束条件的高度多样化的3D形状的能力。本文介绍了一种新颖的空间感知3D形状生成框架，利用2D平面表示增强3D形状建模。为确保空间一致性和减少内存使用，我们采用混合形状表示技术，直接学习使用正交2D平面的连续有符号距离场表示3D形状。此外，我们还使用基于变压器的自编码器结构，精心强制实现不同平面之间的空间对应关系，促进了生成的3D形状中空间关系的保留。这产生了一个算法，它在各种任务中始终优于最先进的3D形状生成方法，包括无条件形状生成、多模态形状完成、单视图重建和文本到形状合成。

本论文旨在解决现有的3D形状生成方法在处理空间一致性时的局限性，提出了一种新的空间感知3D形状生成框架。

该论文的关键思路是利用2D平面表示增强3D形状建模，并采用连续有符号距离场表示3D形状，通过基于变压器的自编码器结构在不同平面间强制施加空间对应关系，从而提高生成3D形状的空间一致性和多样性。

论文在多个任务上验证了该方法的优越性，包括无条件形状生成、多模态形状完成、单视图重建和文本到形状合成。论文使用了多个数据集，并开源了代码。

相关研究包括：《Learning to Generate 3D Shapes with Generative Adversarial Network》、《Generative Models for 3D Point Clouds: A Survey》等。