RayGauss: Volumetric Gaussian-Based Ray Casting for Photorealistic Novel View Synthesis

不同iable volumetric rendering-based方法在新视角合成方面取得了显著进展。一方面，创新方法已经用局部参数化结构替换了神经辐射场（NeRF）网络，使得在合理的时间内能够实现高质量的渲染。另一方面，方法已经使用可微分的splatting代替了NeRF的光线投射，使用高斯核快速优化辐射场，允许对场景进行精细的适应。然而，不规则间距核的可微分光线投射鲜有探索，而尽管splatting能够实现快速渲染时间，但容易出现明显的伪影。我们的工作通过提供一个物理上一致的发射辐射c和密度{\ sigma}的公式，用球面高斯/谐波关联的高斯函数对所有频率的色度进行表示，填补了这一空白。我们还引入了一种方法，使用一种算法将辐射场分层积分，并利用BVH结构实现不规则分布的高斯的可微分光线投射。这使得我们的方法能够对场景进行精细的适应，同时避免了splatting伪影。因此，我们实现了比最先进技术更优秀的渲染质量，同时保持合理的训练时间，并在Blender数据集上实现了25 FPS的推理速度。项目页面包括视频和代码：https://raygauss.github.io/

本论文旨在解决不规则分布高斯核的可微分射线投影问题，以提高新视角合成渲染的质量和效率。这是一个新的问题。

论文提出了一种基于球形高斯函数/谐波的放射亮度和密度的物理一致性公式，并引入了一种算法，使不规则分布的高斯核的可微分射线投影成为可能。这种方法可以避免可视化伪影，同时提高了渲染质量和效率。

论文提出的方法在Blender数据集上实现了25 FPS的推理速度，并在渲染质量上优于现有的最先进技术。此外，论文还提供了项目页面、视频和代码。

最近的相关研究包括Neural Radiance Fields (NeRF)网络、局部参数化结构和可微分喷洒等方法，但这些方法都存在一些问题。