ScalingGaussian: Enhancing 3D Content Creation with Generative Gaussian Splatting

高质量的三维资产创造对于数字遗产保护、娱乐和机器人应用至关重要。传统上，这个过程需要熟练的专业人员和专业软件来进行三维对象的建模、贴图和渲染。然而，在游戏和虚拟现实（VR）中对三维资产的需求不断增加，导致出现了可访问的图像转三维技术，使非专业人士能够制作三维内容并减少对专家输入的依赖。现有的三维内容生成方法在同时实现详细纹理和强大几何一致性方面存在困难。我们引入了一种新颖的三维内容创作框架ScalingGaussian，它结合了三维和二维扩散模型，以实现生成的三维资产具有详细的纹理和几何一致性。首先，三维扩散模型生成点云，然后通过选择局部区域、引入高斯噪声，以及使用局部密度加权选择的过程来加密点云。为了优化三维高斯模型，我们使用了一个带有得分蒸馏采样（SDS）损失的二维扩散模型，引导三维高斯模型进行克隆和分裂。最后，三维高斯模型被转换为网格，表面纹理使用均方误差（MSE）和梯度剖面先验（GPP）损失进行优化。我们的方法解决了三维扩散中稀疏点云的常见问题，从而改善了几何结构和详细纹理。在图像转三维任务上的实验表明，我们的方法可以高效地生成高质量的三维资产。

ScalingGaussian：一种新的3D内容创建框架，试图解决传统3D内容生成方法无法同时实现详细纹理和强大几何一致性的问题。

ScalingGaussian将3D和2D扩散模型相结合，通过选择局部区域、引入高斯噪声、使用局部密度加权选择等过程，生成点云，并利用2D扩散模型进行优化，最终将3D高斯转换为网格，并使用MSE和GPP损失优化表面纹理。

论文通过实验验证了ScalingGaussian能够有效地生成高质量的3D内容，并提出了使用Score Distillation Sampling（SDS）损失进行2D扩散模型优化的方法。论文使用了现有的数据集，并提供了开源代码。

最近的相关研究包括：《Learning to Infer Implicit Surfaces without 3D Supervision》、《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》等。