TRIPS: Trilinear Point Splatting for Real-Time Radiance Field Rendering

点云辐射场渲染在新视角合成方面表现出令人印象深刻的结果，提供了渲染质量和计算效率的有力结合。然而，该领域的最新方法也存在缺陷。3D高斯点插值[Kerbl和Kopanas等人，2023]在渲染高度详细的场景时面临模糊和云状伪影的问题。另一方面，ADOP[Rückert等人，2022]可以适应更清晰的图像，但神经重建网络会降低性能，它难以处理时间不稳定性，并且无法有效地解决点云中的大间隙。 在本文中，我们提出了TRIPS（三线性点插值），这是一种将高斯点插值和ADOP的思想结合起来的方法。我们的新技术的基本概念是将点栅格化为屏幕空间图像金字塔，选择金字塔层的方式是由投影点大小决定的。这种方法允许使用单个三线性写入渲染任意大的点。然后，使用轻量级神经网络重建一个无孔图像，包括超出点云分辨率的细节。重要的是，我们的渲染管道是完全可微的，允许自动优化点大小和位置。 我们的评估表明，TRIPS在保持60帧每秒的实时帧率的同时，超过了现有最先进的渲染质量方法。这种性能扩展到具有复杂几何形状、广阔景观和自动曝光镜头的具有挑战性的场景。

解决问题：论文提出了一种新的点云渲染方法TRIPS，旨在解决现有方法在渲染高细节场景时存在的模糊和云状伪影的问题，以及ADOP方法无法有效处理点云中的大间隙的问题。

关键思路：TRIPS方法将高分辨率点云数据转化为屏幕空间图像金字塔，并根据点大小选择对应的金字塔层级，从而实现一次三线性写入任意大小的点。然后使用轻量级神经网络对图像进行重建，以填补超出点云分辨率的细节部分。整个渲染管道是可微分的，可以自动优化点的大小和位置。

其他亮点：TRIPS方法在保持实时帧率的同时，在处理复杂几何、广阔景观和自动曝光镜头等挑战性场景方面，优于现有的最先进方法。实验使用了多个数据集进行评估，并展示了渲染质量和帧率的表现。此外，该方法的渲染管道是可微分的，有望在未来的研究中进一步优化。

相关研究：最近的相关研究包括3D Gaussian Splatting和ADOP方法。其中，3D Gaussian Splatting方法在处理高细节场景时存在模糊和云状伪影的问题，而ADOP方法则无法有效处理大间隙的点云。