Gamba: Marry Gaussian Splatting with Mamba for single view 3D reconstruction

我们面临的挑战是高效地从单张图像重建3D资产，这是自动化3D内容创建流程不断增长的需求。先前的方法主要依赖于Score Distillation Sampling (SDS)和Neural Radiance Fields (NeRF)。尽管它们取得了显著的成功，但这些方法由于优化时间长和内存使用量大而遇到了实际限制。在本报告中，我们介绍了Gamba，这是一个从单视图图像中端到端的摊销3D重建模型，强调两个主要见解：(1) 3D表示：利用大量的3D高斯函数进行高效的3D高斯喷洒过程；(2) 骨干设计：引入基于Mamba的顺序网络，有助于上下文相关推理和线性可扩展性，适应大量的高斯函数。Gamba包括数据预处理、正则化设计和训练方法方面的重大进展。我们使用真实世界扫描的OmniObject3D数据集对Gamba进行了评估，与现有的基于优化和前馈的3D生成方法进行了比较。在这里，Gamba展示了竞争性的生成能力，无论是定性还是定量，同时实现了惊人的速度，在单个NVIDIA A100 GPU上约为0.6秒。

解决问题：论文旨在通过提出一种新的端到端的3D重建模型Gamba，从单视图图像中高效地重建3D模型，以满足自动化3D内容创建的需求。

关键思路：Gamba的关键思路包括使用大量的3D高斯函数进行高效的3D高斯函数喷洒过程，并引入基于Mamba的顺序网络，以促进上下文相关推理和线性可扩展性，适应大量高斯函数。

其他亮点：Gamba在数据预处理、正则化设计和训练方法方面取得了重大进展。论文使用真实世界的OmniObject3D数据集对Gamba进行了评估，证明了Gamba在生成能力方面具有竞争力，同时在单个NVIDIA A100 GPU上实现了惊人的速度，约为0.6秒。

相关研究：之前的方法主要依赖于分数蒸馏采样（SDS）和神经辐射场（NeRF），而Gamba则是一种全新的端到端模型。