Splat the Net: Radiance Fields with Splattable Neural Primitives

辐射场已成为建模三维场景外观的主流表示方法。以神经辐射场（Neural Radiance Fields）为代表的神经化建模方法虽具备强大的表达能力，但其渲染过程依赖计算开销高昂的光线步进（ray marching）；而以三维高斯点绘（3D Gaussian Splatting）为代表的基于图元的方法则通过点绘（splatting）实现实时渲染效率，却在表征能力上有所妥协。受上述两类方法最新进展的启发，我们提出了“可点绘的神经图元”（splattable neural primitives）——一种新型体素化表示方法，旨在兼顾神经模型的强表达力与基于图元点绘的高效性。每个图元均编码一个有界神经密度场，该密度场由一个浅层神经网络参数化。我们的建模形式支持对线积分进行精确的解析求解，从而能够高效地计算符合透视投影原理的点绘核（splatting kernel）。正因如此，该表示方法可在视线方向上直接沿射线完成积分，无需依赖计算繁重的光线步进。此外，这些图元能灵活适应场景几何结构；且相较于以往的解析型图元尺寸更大，因而单个场景所需图元数量显著减少。在新视角合成基准测试中，本方法在重建质量与渲染速度两方面均达到与三维高斯点绘相当的水平，同时仅需其十分之一的图元数量和六分之一的参数量。上述优势完全源于该表示方法自身的内在设计，无需借助复杂的控制机制或自适应框架。项目主页为：https://vcai.mpi-inf.mpg.de/projects/SplatNet/。

如何在3D场景重建与新视角合成中同时兼顾神经辐射场（NeRF）的高表达能力与3D高斯溅射（3D Gaussian Splatting）的实时渲染效率，避免NeRF所需的昂贵光线步进（ray marching）和原始溅射方法因表达能力受限导致的几何/外观保真度下降——这是一个尚未被充分解决的新权衡问题。

提出‘可溅射神经基元’（splattable neural primitives）：每个基元是一个由浅层神经网络参数化的有界神经密度场，其关键创新在于推导出沿视线方向的体积分（line integral）的**解析闭式解**，从而实现透视准确、无需采样的高效溅射；该设计使单个基元比传统高斯更大、更自适应，显著减少基元数量与参数量。

在DTU、Mip-NeRF 360、Blender等标准新视角合成基准上，质量媲美3D Gaussian Splatting（PSNR/SSIM/LPIPS），推理速度相当（≥40 FPS），但仅需1/10的基元数和1/6的参数量；所有改进源于表示本身，无依赖额外控制模块；代码、模型与交互式可视化已开源至项目页https://vcai.mpi-inf.mpg.de/projects/SplatNet/；未来可探索动态场景扩展、硬件协同优化及与神经压缩的结合。

NeRF: Mildenhall et al., ECCV 2020；Instant NGP: Müller et al., SIGGRAPH 2022；3D Gaussian Splatting: Kerbl et al., SIGGRAPH 2023；Plenoxels: Yu et al., CVPR 2022；Scaffold-GS: Wang et al., arXiv 2024；Point-NeRF: Yu et al., ICCV 2021