NeuSDFusion: A Spatial-Aware Generative Model for 3D Shape Completion, Reconstruction, and Generation

本文旨在产生符合特定条件和约束的创新性3D内容。现有方法通常将3D形状分解为一系列局部组件，将每个元素孤立地处理，而不考虑空间一致性。因此，这些方法在3D数据表示和形状生成方面的多样性受到限制，从而阻碍了它们生成高度多样化的3D形状以符合指定的约束条件的能力。本文介绍了一种新颖的空间感知3D形状生成框架，利用2D平面表示来增强3D形状建模。为了确保空间一致性并减少内存使用，我们采用混合形状表示技术，直接使用正交2D平面学习3D形状的连续符号距离场表示。此外，我们使用基于变压器的自编码器结构仔细强制不同平面之间的空间对应关系，促进生成的3D形状中空间关系的保留。这产生了一个算法，可以在各种任务中始终优于最先进的3D形状生成方法，包括无条件形状生成，多模态形状完成，单视图重建和文本到形状合成。我们的项目页面可在https://weizheliu.github.io/NeuSDFusion/ 上找到。

本篇论文旨在解决现有3D形状生成方法中存在的局限性，即缺乏空间一致性和多样性，以及对指定约束的生成效果不佳的问题。

论文提出了一种新的基于2D平面表示的空间感知3D形状生成框架，采用混合形状表示技术，直接学习3D形状的连续有符号距离场表示，并通过变压器自编码器结构在不同平面之间维持空间对应关系，从而提高3D形状建模的效率和准确性。

论文的实验结果表明，该方法在无条件形状生成、多模态形状完成、单视角重建和文本到形状合成等任务上均表现出色，优于当前最先进的3D形状生成方法。论文提供了项目页面和开源代码。

最近的相关研究包括：《Learning to Infer Implicit Surfaces without 3D Supervision》、《Occupancy Networks: Learning 3D Reconstruction in Function Space》等。