Gamba: Marry Gaussian Splatting with Mamba for single view 3D reconstruction

我们的挑战是高效地从单张图像中重建三维资产，因为自动化三维内容创建流程的需求不断增长。以前的方法主要依赖于分数蒸馏采样（SDS）和神经辐射场（NeRF）。尽管它们取得了显著的成功，但由于优化时间长和内存使用量大，这些方法遇到了实际限制。在本报告中，我们介绍了Gamba，这是一个端到端的从单视图图像中摊销的三维重建模型，强调了两个主要见解：（1）三维表示：利用大量的三维高斯函数进行高效的三维高斯喷洒过程；（2）骨干设计：引入基于Mamba的顺序网络，促进上下文相关推理和线性可扩展性，适应大量高斯函数。Gamba包含了数据预处理、正则化设计和训练方法方面的重大进展。我们使用真实世界扫描的OmniObject3D数据集对Gamba进行了评估，与现有的基于优化和前馈的三维生成方法进行了比较。在这里，Gamba展示了竞争性的生成能力，无论是定性还是定量，同时实现了显着的速度，单个NVIDIA A100 GPU约为0.6秒。

论文旨在解决从单张图像高效重建三维资产的挑战，以满足自动化三维内容创建流水线的不断增长的需求。

论文提出了Gamba，一种端到端的分摊式三维重建模型，强调两个主要的见解：（1）使用大量的三维高斯函数进行高效的三维高斯喷洒过程；（2）引入基于Mamba的顺序网络，促进依赖于上下文的推理和与序列（令牌）长度的线性可扩展性，适应大量高斯函数。

论文在数据预处理、规则设计和训练方法方面取得了重大进展。通过对现有的基于优化和前馈的三维生成方法进行评估，Gamba在真实世界扫描的OmniObject3D数据集上展示了具有竞争力的生成能力，同时实现了显着的速度，大约在单个NVIDIA A100 GPU上为0.6秒。

与该领域的相关研究包括Score Distillation Sampling (SDS)和Neural Radiance Fields (NeRF)等方法。