Surf-D: High-Quality Surface Generation for Arbitrary Topologies using Diffusion Models

本文介绍了一种名为Surf-D的新方法，使用扩散模型生成具有任意拓扑结构的高质量三维表面形状。具体而言，我们采用无符号距离场（UDF）作为表面表示，因为它在处理任意拓扑结构方面表现出色，可以生成复杂的形状。虽然以前的方法尝试使用不同的表示方法进行形状生成，但它们受限于拓扑结构和几何细节。此外，由于离散体积结构的缺陷，直接将以前的扩散模型扩展到UDF是非常困难的，因为它们缺乏空间连续性。然而，UDF需要准确的梯度进行网格提取和学习。为了解决这些问题，我们首先利用基于点的自编码器来学习一个紧凑的潜在空间，通过微分支持对任何输入点进行梯度查询，以有效地捕捉高分辨率的复杂几何形状。由于各种形状的学习难度可能不同，因此采用课程学习策略来有效地嵌入各种表面，增强整个嵌入过程。通过预训练形状潜在空间，我们采用潜在扩散模型来获取各种形状的分布。我们的方法在多个模态下展示了卓越的形状生成性能，并在无条件生成、类别条件生成、从图像重建三维形状和文本到形状任务中进行了广泛的实验。

本文旨在提出一种新的方法Surf-D，用于生成具有任意拓扑结构的高质量3D形状。同时，该方法采用Unsigned Distance Field (UDF)作为表面表示，以处理任意拓扑结构，从而实现复杂形状的生成。

本文的关键思路是采用点云自编码器学习紧凑的潜在空间，并使用梯度查询来获取精细几何信息。此外，采用课程学习策略来有效嵌入各种形状，从而提高整个嵌入过程的效率。最终使用潜在扩散模型来获取各种形状的分布。

本文的亮点包括：1. 采用UDF作为表面表示，处理任意拓扑结构；2. 使用点云自编码器学习紧凑的潜在空间，并使用梯度查询来获取精细几何信息；3. 采用课程学习策略来提高嵌入效率；4. 在多个任务上展示了优越的性能，包括无条件生成、类别条件生成、从图像重建3D和文本到形状的任务。

最近在这个领域中，还有一些相关的研究，例如《Learning to Infer Implicit Surfaces without 3D Supervision》、《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》等。