GaussianDiffusion: 3D Gaussian Splatting for Denoising Diffusion Probabilistic Models with Structured Noise

文本到三维技术因其高效的生成方法和广泛的创意潜力在人工智能图形计算领域受到了广泛关注。然而，Nerf和二维扩散模型的结合经常会产生过度饱和的图像，由于像素渲染方法的限制，这对下游工业应用造成了严重的限制。高斯喷洒技术最近取代了NeRF方法学中普遍存在的点采样技术，从而在3D重建的各个方面产生了革命性的影响。本文介绍了一种基于高斯喷洒技术的新型文本到三维内容生成框架，通过单个高斯球透明度的精细控制，实现对图像饱和度的更好控制，从而产生更加逼真的图像。在三维生成中实现多视角一致性的挑战极大地阻碍了建模的复杂性和准确性。受SJC的启发，我们探索使用多视角噪声分布来扰动由3D高斯喷洒生成的图像，以纠正多视角几何不一致性。我们巧妙地设计了一种高效的方法来生成噪声，从而产生从不同视角发出的高斯噪声，所有这些视角都源自于一个共享的噪声源。此外，普通的基于3D高斯的生成方法往往会将模型困在局部最小值中，导致出现浮游物、毛刺或增生元素等伪像。为了缓解这些问题，我们提出了变分高斯喷洒技术，以提高3D外观的质量和稳定性。据我们所知，我们的方法代表了高斯喷洒技术在整个3D内容生成过程中的首次全面利用。

本论文试图解决使用Text-to-3D生成图像时出现的过饱和问题，以及在3D生成中实现多视角一致性的挑战。

论文提出了一种基于高斯喷洒的文本到3D内容生成框架，通过控制高斯球透明度来实现对图像过饱和的细粒度控制，并使用多视角噪声分布来消除多视角几何不一致性。同时，论文还提出了变分高斯喷洒技术以提高3D外观的质量和稳定性。

论文的实验结果表明，该方法可以生成更真实的图像，并且具有更好的多视角一致性。论文使用了ShapeNet数据集进行实验，并开源了代码。值得进一步研究的是如何在更复杂的场景中实现更好的3D生成效果。

在最近的研究中，也有一些使用高斯喷洒来解决3D重建中的问题的论文，如《GIRAFFE: Representing Scenes as Compositional Generative Neural Feature Fields》、《NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections》等。