GeoGen: Geometry-Aware Generative Modeling via Signed Distance Functions

我们介绍了一种新的生成方法，可以从单视图集合中合成3D几何和图像。大多数现有的方法预测体积密度以渲染多视角一致的图像。通过使用神经辐射场进行体积渲染，它们继承了一个关键限制：生成的几何体是嘈杂和不受限制的，限制了输出网格的质量和实用性。为了解决这个问题，我们提出了GeoGen，一种新的基于SDF的3D生成模型，以端到端的方式进行训练。最初，我们将体积密度重新解释为有符号距离函数（SDF）。这使我们能够引入有用的先验条件来生成有效的网格。然而，这些先验条件阻止了生成模型学习细节，限制了该方法在真实世界场景中的适用性。为了缓解这个问题，我们使转换可学习，并将渲染的深度图与SDF的零级集保持一致。通过对抗训练的视角，我们鼓励网络在输出网格上产生更高保真度的细节。为了评估，我们引入了一个合成数据集，其中包含从360度摄像机角度拍摄的人类化身，以克服真实世界数据集所呈现的挑战，这些数据集通常缺乏3D一致性并且不涵盖所有摄像机角度。我们在多个数据集上的实验表明，GeoGen比基于神经辐射场的先前生成模型产生了更好的几何形状，无论是在视觉上还是在定量上。

论文旨在解决从单视图图像合成3D几何和图像的问题，通过提出一种新的SDF-based 3D生成模型GeoGen来克服现有方法的局限性。

GeoGen采用了Signed Distance Function（SDF）来限制生成的几何形状，同时通过可学习的变换和对抗训练来提高生成模型的细节和质量。

论文在一个合成数据集上进行了实验，展示了GeoGen相比于基于神经辐射场的生成模型在几何形状和图像质量上的优势。论文还提供了代码和数据集。

近期的相关研究包括NeRF、GRAF等基于神经辐射场的生成模型，以及基于SDF的生成模型如PIFu、DISN等。