Hyper-3DG: Text-to-3D Gaussian Generation via Hypergraph

文本到三维生成是一个令人兴奋的领域，已经取得了快速进展，促进了文本描述转化为详细的三维模型。然而，目前的进展经常忽视了三维对象内部几何和纹理之间复杂的高阶相关性，导致出现过度平滑、过度饱和和双面问题等挑战。在这项工作中，我们提出了一种名为“通过超图生成三维高斯（Hyper-3DG）”的方法，旨在捕捉三维对象内部复杂的高阶相关性。我们的框架由一个完善的主流程和一个重要模块“几何和纹理超图细化器（HGRefiner）”支撑。该模块不仅可以改进三维高斯的表示，还可以通过在显式属性和潜在视觉特征上进行Patch-3DGS超图学习来加速这些三维高斯的更新过程。我们的框架允许在一个协同优化中生成精细的三维对象，有效地避免了退化。广泛的实验表明，我们提出的方法显著提高了三维生成的质量，同时不会为底层框架带来额外的计算负担。（项目代码：https://github.com/yjhboy/Hyper3DG）

论文旨在解决文本到3D生成中存在的几何和纹理高阶相关性被忽视的问题，导致生成物体过于光滑、过于饱和或出现Janus问题。

论文提出了一种名为“Hyper-3DG”的方法，通过超图捕捉3D物体内复杂的高阶相关性，使用“几何和纹理超图细化器”模块对3D高斯模型进行优化，通过Patch-3DGS超图学习进行更新。

论文通过实验验证了该方法在不增加计算负担的情况下显著提高了3D生成的质量，并提供了开源代码。值得进一步研究的工作包括对于不同数据集的适应性和超图学习的更深入探究。

最近的相关研究包括“Generative Adversarial Networks for 3D Models”和“Learning to Generate 3D Shapes with Generative Adversarial Networks”。