GeoGen: Geometry-Aware Generative Modeling via Signed Distance Functions

我们提出了一种新的生成方法，可以从单视角集合中合成3D几何和图像。大多数现有方法预测体积密度以渲染多视角一致的图像。通过使用神经辐射场进行体积渲染，它们继承了一个关键限制：生成的几何形状嘈杂且不受限制，限制了输出网格的质量和实用性。为了解决这个问题，我们提出了GeoGen，一种新的基于SDF的3D生成模型，以端到端的方式进行训练。首先，我们重新解释了体积密度作为有符号距离函数（SDF）。这使我们能够引入有用的先验知识来生成有效的网格。然而，这些先验知识会阻止生成模型学习细节，从而限制了该方法在现实世界场景中的适用性。为了缓解这个问题，我们使变换可学习，并将渲染的深度图限制为与SDF的零级集一致。通过对抗性训练的视角，我们鼓励网络在输出网格上产生更高保真度的细节。为了评估，我们引入了一个合成数据集，其中包含从360度摄像机角度捕获的人体化身，以克服现实世界数据集所提出的挑战，这些数据集通常缺乏3D一致性并且不涵盖所有摄像机角度。我们在多个数据集上的实验表明，GeoGen产生的几何形状比基于神经辐射场的先前生成模型在视觉和数量上都更好。

如何从单视角图像中生成高质量的3D几何图像？

通过将体密度重新解释为符号距离函数（SDF），并使用可学习的变换和对抗训练，提出了一种新的SDF-based 3D生成模型GeoGen，以生成有效的网格并提高输出网格的细节质量。

论文使用了神经辐射场进行体积渲染，但是该方法生成的几何图像噪声较大且受限，GeoGen提出了一种新的解决方案，可以生成更高质量的几何图像。论文还使用了一个合成数据集进行实验，并展示了GeoGen的优越性能。

最近的相关研究包括《NeRF：神经辐射场用于视图合成》和《DeepSDF：使用深度学习学习符号距离函数的几何生成模型》。