Radiant Foam: Real-Time Differentiable Ray Tracing

对于可微场景表示的研究不断向更高效、实时的模型发展。最近，这促使了 splatting 方法的流行，这些方法摒弃了传统的基于光线的辐射场渲染，转而采用光栅化技术。这由于光栅化算法和硬件的高效性，显著提高了渲染速度，但也带来了一个代价：使光栅化高效的近似处理也使得实现如反射和折射等光传输现象变得更加困难。 我们提出了一种新颖的场景表示方法，这种方法避免了这些近似处理，同时通过利用一种被长期忽视的高效体素网格光线追踪算法，保持了 splatting 的高效性和重建质量。我们将这种模型命名为 Radiant Foam，它在渲染速度和质量上与 Gaussian Splatting 相当，但没有光栅化的限制。与使用硬件光线追踪加速的高斯模型不同，我们的方法不需要任何特殊的硬件或 API，只需要可编程 GPU 的标准功能即可。

该论文试图解决当前不同iable场景表示中，为了提高渲染速度而采用的光栅化方法（如splatting）在实现诸如反射和折射等光传输现象时遇到的困难。这是一个新问题，因为它是在追求更高效、实时模型的过程中逐渐显现出来的。

关键思路是提出了一种名为Radiant Foam的新颖场景表示方法，它结合了传统体积网格光线追踪算法的效率与现代可微分场景表示的优点。这种方法避免了光栅化带来的近似误差，同时保持了splatting方法的高效性和重建质量。相比当前依赖硬件加速的光线追踪高斯模型，Radiant Foam不需要特殊硬件或API支持，仅需标准GPU特性即可实现。

1. Radiant Foam实现了与Gaussian Splatting相当的渲染速度和质量，但不受光栅化约束。 2. 实验设计包括对比不同场景表示方法在处理复杂光传输现象时的表现。 3. 使用了多种合成及真实数据集进行验证。 4. 提供开源代码以促进后续研究。 5. 值得继续深入的研究方向包括优化算法性能以及探索更多类型的光传输现象。

最近的相关研究包括： - "NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis"，探讨了神经辐射场在视图合成中的应用。 - "Instant Neural Graphics Primitives with a Multiresolution Hash Encoding"，介绍了多分辨率哈希编码在即时图形基元中的使用。 - "Gaussian Splatting for Real-Time Rendering of Dynamic Scenes"，研究了高斯点绘在动态场景实时渲染中的应用。 这些工作都致力于提高场景表示和渲染的效率与质量，但Radiant Foam通过引入旧的体积网格光线追踪算法提供了一个新颖且高效的解决方案。