SC-Diff: 3D Shape Completion with Latent Diffusion Models

本文介绍了一种使用3D潜在扩散模型的3D形状补全方法，该方法针对Truncated Signed Distance Functions (TSDFs)表示的部分3D扫描进行优化。我们的方法通过交叉注意力的图像条件和从捕获的部分扫描集成的3D特征的空间条件相结合。这种双重引导使得我们能够以更高的分辨率进行高保真度、逼真的形状补全。我们方法的核心是将3D数据压缩成低维潜在空间，使用的是受2D潜在扩散模型启发的自编码器。这种压缩有助于处理更高分辨率的形状，并使我们能够将我们的模型应用于多个对象类别，这是其他现有的基于扩散的形状补全方法的重大改进，这些方法通常需要为每个类别单独使用一个扩散模型。我们在形状补全领域的两个常见基准测试中验证了我们的方法，表明我们的方法在精度和逼真度方面具有竞争力，并且与最先进的方法相当，尽管我们使用单个模型适用于所有对象类别且分辨率更高。我们对我们的模型进行了全面的评估，展示了它在处理各种形状补全挑战方面的功效，甚至在未知对象类别上也表现出色。代码将在接受后发布。

3D形状补全

使用3D潜在扩散模型和图像交叉注意力进行3D形状补全，能够处理多个对象类别，且在高分辨率下表现出色

论文提出的方法能够在高分辨率下处理多个对象类别的3D形状补全问题，使用了图像交叉注意力和3D特征融合的思路，同时对比了两个常用的形状补全数据集，实验结果表明该方法表现出色。论文还开源了代码。

相关研究包括：1. Occupancy Networks: Learning 3D Reconstruction in Function Space；2. DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation