Voyager: Real-Time Splatting City-Scale 3D Gaussians on Your Phone

3D 高斯点绘（3DGS）是一种新兴的用于逼真 3D 场景渲染的技术。然而，在移动设备（例如智能手机）上渲染城市规模的 3DGS 场景仍然是一个重大挑战，因为移动设备的资源有限。一种自然的解决方案是将计算任务卸载到云端；然而，直接从云端流式传输渲染帧到客户端会引入高延迟，并且需要远超当前无线网络容量的带宽。 在本文中，我们提出了一种有效的解决方案，以实现在移动设备上进行城市规模的 3DGS 渲染。我们的核心洞察是，在正常用户运动下，每秒新出现的高斯点数量基本保持恒定。基于此，我们仅向客户端流式传输必要的高斯点。具体来说，在云端，我们提出了异步细节层次搜索算法，以识别客户端所需的高斯点。在客户端，我们通过基于查找表的光栅化技术加速渲染过程。结合全面的运行时优化，我们的系统能够在移动设备上实现低延迟的城市规模 3DGS 渲染。与现有方案相比，Voyager 将数据传输量减少了超过 100 倍，并实现了高达 8.9 倍的速度提升，同时保持了相似的渲染质量。

论文试图解决在移动设备上渲染城市规模的3D Gaussian Splatting (3DGS) 场景的问题。由于移动设备资源有限，直接在设备上渲染或简单地从云端流式传输帧会导致高延迟和带宽不足的问题。这是一个实际应用中的新挑战，尤其是在大规模场景渲染领域。

论文的关键思路是利用用户运动下每秒新增可见高斯分布数量大致恒定的特点，仅将必要的高斯数据流式传输到客户端。通过云侧的异步细节层次搜索（asynchronous level-of-detail search）来确定需要传输的数据，并在客户端使用基于查找表的光栅化技术加速渲染。这种方法显著减少了数据传输量并提高了渲染速度。

实验表明，该方法相比现有解决方案实现了超过100倍的数据传输减少和高达8.9倍的速度提升，同时保持了相似的渲染质量。论文还提出了整体运行时优化策略以进一步增强性能。目前尚不清楚是否提供了开源代码，但研究为未来的大规模实时渲染优化提供了重要方向，例如更高效的压缩算法和自适应流式传输策略值得深入研究。

最近的相关研究包括：1) NeRF及其变体的研究，如Instant-NGP，探索高效神经辐射场渲染；2) 点云优化与压缩技术，如PointSplatNet；3) 移动端实时渲染优化，例如MobileNeRF和Fast-Gaussian-Splatting。这些研究共同推动了大规模场景的高效表示与渲染。