GaussianDreamerPro: Text to Manipulable 3D Gaussians with Highly Enhanced Quality

最近，三维高斯喷洒（3D-GS）在重建和渲染现实场景方面取得了巨大成功。为了将高质量的渲染转移到生成任务中，一系列研究工作尝试从文本中生成3D高斯资产。然而，生成的资产并没有像重建任务中那样达到相同的质量。我们观察到，高斯往往会在生成过程中失去控制而不断增长，这可能导致不确定性。为了高度增强生成质量，我们提出了一个名为GaussianDreamerPro的新框架。主要思想是将高斯绑定到合理的几何形状上，该几何形状在整个生成过程中不断演变。在我们框架的不同阶段，几何和外观都可以逐步丰富。最终输出的资产是由绑定到网格上的三维高斯构成的，与以前的方法相比，显示出显着增强的细节和质量。值得注意的是，生成的资产也可以无缝地集成到下游的操作管道中，例如动画、合成和模拟等，极大地促进了它在广泛应用中的潜力。演示可在https://taoranyi.com/gaussiandreamerpro/上获得。

本文旨在提高从文本生成3D高斯模型的质量，解决生成过程中高斯模型无法受到合理几何形状约束的问题。

本文提出了一种名为GaussianDreamerPro的新框架，通过将高斯模型绑定到合理的几何形状上，使得生成过程中高斯模型能够受到约束，从而逐步丰富几何形状和外观，最终生成的3D高斯模型与之前的方法相比，具有更高的细节和质量。

论文提出的GaussianDreamerPro框架能够生成高质量的3D高斯模型，并且可以无缝地集成到下游处理管道中。实验使用了多个数据集，并且开源了代码。值得深入研究的是，本文的方法能否在其他生成任务中得到应用。

最近在这个领域中，还有一些相关的研究，例如：《3D-GAN: Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial Modeling》、《Learning to Generate 3D Mesh Models from Natural Language via Conditional Generative Adversarial Networks》等。