HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces

神经辐射场提供了最先进的视图合成质量，但往往渲染速度较慢。其中一个原因是它们使用体积渲染，因此在渲染时需要每个光线进行多次采样（和模型查询）。虽然这种表示方式灵活且易于优化，但大多数现实世界的物体可以更有效地使用表面来建模，每个光线需要远少于体积的采样次数。这一观察结果已经在表面表示方面推动了相当大的进展，例如有符号距离函数，但这些方法可能难以模拟半透明和薄结构。我们提出了一种方法HybridNeRF，它利用两种表示方法的优点，将大多数物体呈现为表面，同时在体积上对（通常）少量具有挑战性的区域进行建模。我们对具有挑战性的Eyeful Tower数据集以及其他常用的视图合成数据集进行了HybridNeRF的评估。与最先进的基线方法相比，包括最近的光栅化方法，我们将误差率提高了15-30％，同时在虚拟现实分辨率（2Kx2K）下实现了实时帧率（至少36 FPS）。

HybridNeRF试图解决Neural radiance fields在渲染速度上过慢的问题，同时解决了使用表面表示时难以建模半透明和薄结构的问题。

HybridNeRF将大部分物体渲染为表面，仅在需要时使用体积渲染来建模具有挑战性的区域，从而利用两种表示方法的优势。

论文在Eyeful Tower数据集以及其他常用视角合成数据集上进行了评估，与最先进的基于光栅化的方法相比，错误率提高了15-30％，同时在虚拟现实分辨率（2Kx2K）下实现了实时帧率（至少36 FPS）。

与表面表示相关的研究包括signed distance functions，但这些方法可能难以建模半透明和薄结构。