Nexels: Neurally-Textured Surfels for Real-Time Novel View Synthesis with Sparse Geometries

尽管高斯点阵化在新视角合成中取得了令人印象深刻的效果，但在渲染高度纹理化的场景时，即使场景几何结构较为简单，仍需要数以百万计的图元来建模。为此，我们提出了一种超越基于点渲染的表示方法，将几何与外观解耦，以实现更紧凑的表达形式。我们使用面元（surfels）表示几何结构，而外观则由全局神经场与每个图元的独立颜色共同表示。该神经场为每个像素固定数量的图元进行纹理映射，确保额外计算开销较低。我们的表示方法在感知质量上可媲美3D高斯点阵化，而在户外场景中仅需其 $9.7\times$ 更少的图元和 $5.5\times$ 更少的内存，在室内场景中则仅需 $31\times$ 更少的图元和 $3.7\times$ 更少的内存。此外，我们的方法渲染速度比现有的带纹理图元快两倍，同时视觉质量也更优。

现有的3D高斯点阵（Gaussian splatting）虽然在新视角合成中表现优异，但在高度纹理化的场景中需要数以百万计的图元来建模，即使场景几何结构简单，也会导致存储和计算开销巨大。论文试图解决如何在保持视觉质量的同时显著减少图元数量和内存消耗的问题。这是一个重要的实际问题，尤其在资源受限的应用中，但并非全新问题，而是对现有表示方法效率瓶颈的深入优化。

提出一种解耦几何与外观的新表示方法：使用surfels（表面元素）表示几何结构，用全局神经场结合每个图元的颜色来建模外观。神经场为每个像素固定数量的图元提供纹理，从而在极低额外计算成本下实现高质量渲染。相比点基表示，该方法通过结构化几何表达和共享纹理建模实现了更紧凑的表示，是首次将神经场与surfels结合用于高效新视角合成的尝试之一。

实验表明，在户外场景上使用仅1/9.7的图元和1/5.5的内存，在室内场景上使用1/31的图元和1/3.7的内存，即可达到与3D Gaussian Splatting相当甚至更好的视觉质量，同时渲染速度提升2倍。实验设计覆盖典型NeRF数据集（如ScanNet室内、Mip-NeRF 360户外），验证了泛化性。论文强调了效率与质量的平衡，未来可探索动态场景扩展、轻量化神经场设计及实时系统部署。若代码开源，将进一步推动社区发展。

1. DirectVoxGO: Efficient Voxel Grid Rendering for Generalizable View Synthesis 2. Instant Neural Graphics Primitives with Multi-Resolution Hash Encoding 3. 3D Gaussian Splatting for Real-Time Radiance Field Rendering 4. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis 5. Point-NeRF: Point-Based Neural Radiance Field 6. Fast Splats: High-Fidelity View Synthesis with Sparse Gaussian Splatting