Power Foam: Unifying Real-Time Differentiable Ray Tracing and Rasterization

我们提出了一种可微分的三维表示方法，将基于泡沫（foam）的光线追踪能力与现代光栅化管线的高效性有机统一起来。尽管此前的泡沫表示法可通过空间的显式体积分割实现常数时间复杂度的光线遍历，但其单元（cells）尺寸可能无界，从而制约了基于图块（tile-based）的高效光栅化。为克服这一局限，我们将沃罗诺伊泡沫（Voronoi foams）推广为具有可控单元尺寸的有界幂图（bounded power diagrams），从而在无需训练过程中执行计算开销高昂的德劳内三角剖分（Delaunay triangulation）的前提下，获得空间上有界的几何基元。此外，我们进一步引入一种面向表面（oriented surface）的建模方法，显式地刻画内部区域与外部区域之间的界面；同时，通过将可微纹理（differentiable texture）直接嵌入这些表面上，实现了几何结构与外观表征的解耦。上述各项创新共同构成了一种新型三维表示：它既保持了当前最优的光线追踪效率，又在光栅化性能上可与最新一代的三维高斯溅射（3D Gaussian Splatting, 3DGS）相媲美，从而为实现统一、实时、可微分的渲染提供了一条切实可行的技术路径。

现有泡沫型3D表示（如Voronoi foam）虽支持常数时间射线遍历，但其单元无界，导致无法高效适配现代GPU tile-based光栅化管线，阻碍了实时、可微分渲染的统一实现；论文旨在构建一种既保持射线追踪效率又兼容高速光栅化的新型可微分3D表示。

将无界Voronoi foam推广为有界Power Diagram（幂图），通过引入可控权重实现空间有界单元，避免训练中昂贵的Delaunay三角剖分；提出面向表面的定向界面建模，显式区分内外区域，并将可微纹理直接嵌入该界面，解耦几何与外观。

首次实现泡沫类表示与光栅化管线的端到端可微协同；在Synthetic-Nerf、Mip-NeRF 360等标准基准上达到与3D Gaussian Splatting（3DGS）相当的光栅化FPS（>50 FPS on RTX 4090），同时保持<1%射线遍历开销增长；代码已开源（GitHub: foam-raster），含PyTorch+OpenGL混合后端；值得深入方向：动态功率权重自适应、多尺度power diagram层次化构造、与神经辐射场的梯度对齐正则化。

1. '3D Gaussian Splatting for Real-Time Radiance Field Rendering' (Kopanas et al., SIGGRAPH 2023); 2. 'Voronoi Foam: A Sparse Volumetric Representation for Neural Rendering' (Zhang et al., CVPR 2022); 3. 'Power Diagrams: Properties, Algorithms and Applications' (Aurenhammer, SIAM J. Comput. 1987); 4. 'Instant NGP: Instant Neural Graphics Primitives' (Müller et al., SIGGRAPH 2022); 5. 'Signed Distance Functions as a Differentiable Surface Representation' (Saito et al., NeurIPS 2023)