Low Latency Point Cloud Rendering with Learned Splatting

点云是一种关键的三维表示，具有许多新兴应用。由于点的稀疏性和不规则性，高质量的点云渲染具有挑战性，通常需要复杂的计算来恢复连续的表面表示。另一方面，为了避免视觉不适，光子到像素延迟必须非常短，低于10毫秒。现有的渲染解决方案在质量或速度方面缺乏。为了解决这些挑战，我们提出了一个框架，可以解锁交互式、自由观看和高保真度的点云渲染。我们训练一个通用的神经网络，从任意点云中估计三维椭圆高斯函数，并使用可微分的表面喷洒技术为任意视角渲染平滑的纹理和表面法线。我们的方法不需要每个场景的优化，并且能够实时渲染动态点云。实验结果表明，所提出的解决方案具有卓越的视觉质量和速度，以及适用于不同场景内容的通用性和对压缩伪影的鲁棒性。代码可在https://github.com/huzi96/gaussian-pcloud-render中找到。

高质量实时点云渲染的问题。

使用神经网络估计点云中的三维椭圆高斯分布，结合可微分的表面喷洒技术进行渲染。

论文提出的方法可以实现交互式、自由视角、高保真度的点云渲染，且不需要每个场景进行优化，可以实现动态点云的实时渲染。实验结果表明该方法在视觉质量和速度方面均优于现有方法，并且具有一定的通用性和鲁棒性。代码已开源。

相关研究包括基于点云的渲染技术，如基于几何的方法、基于图像的方法、基于体素的方法等。