RTGS: Enabling Real-Time Gaussian Splatting on Mobile Devices Using Efficiency-Guided Pruning and Foveated Rendering

本文介绍了一种被称为Point-Based Neural Rendering（PBNR）的渲染技术，即3D高斯喷洒法，这是一种有前途的渲染技术，正在渗透到社会的各个方面，受到AR/VR和数字孪生实时逼真渲染需求的推动。在移动设备上实现实时PBNR是具有挑战性的。本文提出了RTGS，这是一种PBNR系统，首次在移动设备上实现了实时神经渲染，并保持了人类视觉质量。RTGS结合了两种技术。首先，我们提出了一种效率感知的修剪技术来优化渲染速度。其次，我们介绍了一种PBNR的视锥渲染（FR）方法，利用人类在周边区域的低视觉敏锐度来放松渲染质量并提高渲染速度。我们的系统在Nvidia Jetson Xavier板上以实时方式执行（超过100 FPS），而不牺牲主观视觉质量，这已经通过用户研究得到了确认。代码已经在[https://github.com/horizon-research/Fov-3DGS]上开源。

实现在移动设备上的实时神经渲染技术，同时保持视觉质量。

通过效率感知的修剪技术和利用人类低视觉敏锐度的中心渲染方法，提出了RTGS系统，实现了在移动设备上的实时神经渲染。

RTGS系统通过修剪技术和中心渲染方法实现了在移动设备上的实时神经渲染，且保持了视觉质量。用户研究证实了其主观视觉质量的保持。开源了代码。

最近的相关研究包括《Neural Rendering: Past, Present, and Future》、《DeepVoxels: Learning Persistent 3D Feature Embeddings》等。