Adversarial Generation of Hierarchical Gaussians for 3D Generative Model

本文主要讨论了在三维生成对抗网络（3D GANs）中，大多数进展都依赖于基于射线投影的体积渲染，这会产生很高的渲染成本。一个有前途的替代方案是基于光栅化的三维高斯点插值（3D-GS），提供了更快的渲染速度和显式的三维表示。本文利用高斯作为三维GAN的表示方法，利用其高效和明确的特点。然而，在对抗性框架中，我们观察到一个天真的生成器架构会遭受训练不稳定性，并且缺乏调整高斯尺度的能力。这导致模型发散和视觉伪影，因为初始化高斯位置的适当指导和密度管理以适应其尺度缺失。为了解决这些问题，我们引入了一个具有分层多尺度高斯表示的生成器架构，有效地规范了生成的高斯的位置和尺度。具体来说，我们设计了高斯的层次结构，其中精细级别的高斯是由粗略级别的高斯参数化的。精细级高斯的位置将位于其粗略级对应物附近，并且随着级别变得更精细，其尺度将单调地减小，以建模三维场景的粗略和细节。实验结果表明，相比于具有相似三维生成能力的最先进的3D一致GAN，我们的方法实现了显著更快的渲染速度（x100）。项目页面：https://hse1032.github.io/gsgan。

解决问题：论文试图通过提出一种新的生成对抗网络架构，解决3D GANs中存在的训练不稳定和缺乏适应性的问题，从而实现更快速的渲染速度和更好的3D场景生成效果。

关键思路：论文提出了一种基于高斯分布的3D表示方法，并设计了一种多尺度高斯表示的生成器架构，用于解决生成器的位置和尺度不稳定性问题，从而实现更好的3D场景生成效果。

其他亮点：论文实验结果表明，所提出的方法在渲染速度和3D场景生成效果方面都有显著的提升，并且相比当前领域的研究具有更好的性能表现。论文还提供了开源代码和数据集，方便其他研究者进行进一步的研究。

相关研究：最近在这个领域中，一些相关的研究包括：《Learning to Generate 3D Meshes with Generative Adversarial Networks》、《Octree-Structured Mesh Generation from 3D Geometry with Generative Adversarial Networks》等。