NGP-RT: Fusing Multi-Level Hash Features with Lightweight Attention for Real-Time Novel View Synthesis

本文提出了NGP-RT，一种新颖的方法来提高Instant-NGP的渲染速度，以实现实时的新视角合成。作为经典的基于NeRF的方法，Instant-NGP将隐式特征存储在多级网格或哈希表中，并应用浅层MLP将隐式特征转换为显式颜色和密度。虽然它实现了快速的训练速度，但由于针对隐式多级特征聚合的每个点的MLP执行，特别是对于实时应用程序，其渲染速度仍有很大的改进空间。为了解决这个挑战，我们提出的NGP-RT将颜色和密度显式存储为哈希特征，并利用轻量级的注意机制来消除哈希冲突，而不是使用计算密集型的MLP。在渲染阶段，NGP-RT将预计算的占用距离网格纳入射线行进策略中，以通知到最近占用体素的距离，从而减少行进点和全局内存访问的数量。实验结果表明，在具有挑战性的Mip-NeRF360数据集上，NGP-RT比以前的基于NeRF的方法实现了更好的渲染质量，在单个Nvidia RTX 3090 GPU上以1080p分辨率实现了108 fps。我们的方法对于需要高效和高质量渲染的基于NeRF的实时应用程序具有很大的潜力。

本文旨在提高NeRF方法在实时新视角合成中的渲染速度，通过提出NGP-RT方法解决NeRF中昂贵的MLP计算和全局内存访问问题。

NGP-RT方法通过将颜色和密度作为哈希特征存储，并利用轻量级的注意力机制解决哈希冲突，从而避免了昂贵的MLP计算。此外，NGP-RT还将预计算的占用距离网格结合到光线行进策略中，以减少光线行进点和全局内存访问次数。

NGP-RT方法在Mip-NeRF360数据集上实现了更好的渲染质量，并在单个Nvidia RTX 3090 GPU上以1080p分辨率实现了每秒108帧的渲染速度。此外，作者还提供了开源代码。

与本文相关的研究包括NeRF、NeRF++、D-NeRF等NeRF方法的改进版本，以及其他实时新视角合成方法，如SIREN、GRAF等。