SMERF: Streamable Memory Efficient Radiance Fields for Real-Time Large-Scene Exploration

最近的实时视图合成技术在保真度和速度方面迅速发展，现代方法能够在交互帧速率下渲染出接近照片般逼真的场景。与此同时，明确的场景表示和光栅化相适应的神经场之间出现了紧张关系，后者的最新实例在质量上超过了前者，但对于实时应用来说成本过高。在这项工作中，我们介绍了SMERF，一种视图合成方法，它在3.5毫米$^3$的体积分辨率下，能够在大面积场景（面积达到300平方米）中实现实时方法中的最高准确性。我们的方法建立在两个主要贡献的基础上：一种分层模型分区方案，它增加了模型容量，同时限制了计算和内存消耗；以及一种蒸馏训练策略，它同时产生了高保真度和内部一致性。我们的方法使得在Web浏览器中可以进行完全的六自由度（6DOF）导航，并且可以在普通智能手机和笔记本电脑上实时渲染。大量实验表明，我们的方法在标准基准测试中比当前实时新视图合成的最新技术高出0.78 dB，在大场景中高出1.78 dB，帧速率比最先进的辐射场模型快三个数量级，并且在包括智能手机在内的各种普通设备上实现了实时性能。我们鼓励读者在我们的项目网站上进行交互式探索：https://smerf-3d.github.io。

本论文旨在解决实时视图合成中显式场景表示和基于射线行进的神经场之间的张力，并提出一种新的方法SMERF，以实现实时渲染大型场景。

SMERF的关键思路是使用分层模型分割方案增加模型容量，并使用蒸馏训练策略同时实现高保真度和内部一致性。

SMERF在大型场景上实现了最先进的准确度，在标准基准测试上超过当前实时新视图合成的最新水平0.78 dB，在大型场景上超过1.78 dB，比最先进的辐射场模型快三个数量级，并在包括智能手机在内的各种商品设备上实现了实时性能。

最近的相关研究包括《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》和《GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis》。