GaussianAnything: Interactive Point Cloud Latent Diffusion for 3D Generation

虽然3D内容生成已经取得了显著进展，但现有方法在输入格式、潜在空间设计和输出表示方面仍面临挑战。本文介绍了一种新型3D生成框架，解决了这些问题，提供了可扩展、高质量的3D生成，并采用了一个交互式的点云结构化潜在空间。我们的框架使用变分自编码器（VAE），以多视角姿态RGB-D（深度）-N（法线）渲染作为输入，采用独特的潜在空间设计，保留了3D形状信息，并结合了级联潜在扩散模型，以提高形状与纹理的解耦效果。所提出的方法GaussianAnything支持多模态条件3D生成，允许点云、标题和单视图或多视图图像输入。值得注意的是，新提出的潜在空间自然地实现了几何与纹理的解耦，从而支持3D感知编辑。实验结果表明，我们的方法在多个数据集上表现出色，在文本和图像条件下的3D生成方面均优于现有方法。

该论文旨在解决3D内容生成中的几个核心挑战，包括输入格式的多样性、潜在空间的设计优化以及输出表示的质量提升。这些问题在现有的3D生成方法中仍然存在，影响了生成模型的性能和应用范围。

论文提出了一种名为GaussianAnything的新型3D生成框架，通过使用多视角的RGB-D-N渲染作为输入，并结合变分自编码器（VAE）和级联潜在扩散模型，设计了一个独特的点云结构化潜在空间。这一设计不仅保留了3D形状信息，还实现了几何与纹理的解耦，从而支持多模态条件下的3D生成，包括点云、文本描述和单/多视角图像输入。

1. 实验结果表明，GaussianAnything在多个数据集上优于现有方法，特别是在文本和图像条件下的3D生成任务中表现突出。 2. 框架支持多模态输入，增加了模型的灵活性和适用性。 3. 新提出的潜在空间自然地实现了几何与纹理的解耦，使得3D感知编辑成为可能。 4. 论文提供了详细的实验设计，使用了多个标准数据集进行评估，并且开源了代码，便于其他研究者复现和进一步研究。

1. "NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis" - 提出了神经辐射场（NeRF），用于从多视角图像合成新视角。 2. "PointFlow: 3D Point Cloud Generation with Continuous Normalizing Flows" - 利用连续归一化流生成3D点云。 3. "PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization" - 通过像素对齐的隐式函数实现高分辨率的人体数字化。 4. "3D Generative Adversarial Networks: A Survey" - 综述了3D生成对抗网络的研究进展，讨论了各种方法的优势和局限性。