Free-Range Gaussians: Non-Grid-Aligned Generative 3D Gaussian Reconstruction

我们提出了“自由分布高斯模型”（Free-Range Gaussians），一种多视角三维重建方法：仅需输入四张图像，即可预测出既不与像素对齐、也不与体素网格对齐的三维高斯分布。该方法通过在高斯参数空间上实施流匹配（flow matching）实现上述目标。我们将重建任务建模为生成式问题，使得模型可直接以非规则网格对齐的三维数据作为监督信号进行训练，同时具备在未观测区域合理合成内容的能力。因此，本方法显著优于以往依赖高度冗余的、严格网格对齐高斯分布的方法——后者在未观测区域往往出现空洞或条件均值模糊等问题。为应对高质量重建所需大量高斯元（Gaussians）带来的计算负担，我们引入了一种分层分块机制（hierarchical patching scheme），将空间位置邻近的高斯元聚类为联合的Transformer token，从而在保持几何结构完整性的同时，将序列长度减半。此外，在训练阶段，我们提出基于时间步加权的渲染损失（timestep-weighted rendering loss）；在推理阶段，则分别采用光度梯度引导（photometric gradient guidance）与无分类器引导（classifier-free guidance），以进一步提升重建结果的保真度。在Objaverse与Google Scanned Objects数据集上的实验表明，本方法在显著减少所用高斯元数量的前提下，各项指标均持续优于基于像素对齐与体素对齐的现有方法；尤其当输入视角无法覆盖物体全部区域时，性能提升尤为显著。

多视图三维重建中，传统方法（如像素对齐或体素对齐的3D高斯表示）存在冗余、结构僵化、未观测区域易产生空洞或模糊条件均值等问题；尤其在仅用极少量输入图像（如4张）时，泛化性与几何完整性严重不足。

提出Free-Range Gaussians——一种生成式、非网格对齐的3D高斯表示方法，通过流匹配（flow matching）直接建模高斯参数（位置、协方差、不透明度、球谐系数）的连续分布；首次将三维重建建模为对自由空间高斯参数的生成过程，摆脱像素/体素栅格约束，支持端到端监督于任意非对齐3D点云或SDF，并天然支持内容补全。

引入分层patching机制将空间邻近高斯聚类为联合Transformer token，序列长度减半且保持几何结构；设计timestep-weighted渲染损失提升训练稳定性；推理阶段融合光度梯度引导与classifier-free guidance显著提升细节保真度；在Objaverse和Google Scanned Objects上验证，仅用~1/5数量的高斯即超越SOTA（如Gaussian Splatting、VolSDF、MVSNeRF）；论文未提代码开源，但方法具强可扩展性，后续可探索动态场景、神经辐射场蒸馏、及与扩散先验的联合建模。

Gaussian Splatting (Kerbl et al., SIGGRAPH 2023); MVSNeRF (Chen et al., ICCV 2021); VolSDF (Yariv et al., NeurIPS 2021); PixelNerf (Sitzmann et al., ICCV 2021); DreamFusion (Poole et al., NeurIPS 2022); Score-based 3D Generation (Luo et al., CVPR 2024)