Real-Time Neural Rasterization for Large Scenes

我们提出了一种新的方法，用于实时合成大型场景的逼真新视角（NVS）。现有的神经渲染方法可以生成逼真的结果，但主要适用于小规模场景（<50平方米），在大规模场景（> 10000平方米）方面存在困难。传统的基于光栅化的图形渲染对于大型场景来说速度很快，但缺乏逼真度并且需要昂贵的手动创建的资产。我们的方法结合了两者的优点，采用中等质量的支架网格作为输入，并学习神经纹理场和着色器来模拟视角依赖性效果以增强逼真度，同时仍然使用标准的图形管道进行实时渲染。我们的方法优于现有的神经渲染方法，为大型自动驾驶和无人机场景提供至少30倍更快的渲染速度，且逼真度相当或更好。我们的工作是首次实现了大型真实世界场景的实时渲染。

本论文旨在提出一种新的方法，用于实时生成大型场景的逼真新视角合成（NVS）。传统的图形渲染方法在大型场景下速度快，但缺乏逼真度且需要昂贵的手动创建资产。而现有的神经渲染方法可以生成逼真的结果，但主要适用于小型场景（<50平方米），在大型场景（> 10000平方米）中存在困难。这篇论文旨在将两者结合起来，利用中等质量的支架网格作为输入，并学习神经纹理场和着色器以模拟视角依赖效果，从而增强逼真度，同时仍使用标准图形管道进行实时渲染。这是首次实现了大型现实世界场景的实时渲染。

本论文的关键思路是将传统图形渲染方法和神经渲染方法相结合，使用中等质量的支架网格作为输入，并学习神经纹理场和着色器以增强逼真度，同时仍使用标准图形管道进行实时渲染，从而实现大型现实世界场景的实时渲染。

本论文的亮点包括：1.提出了一种新的方法，用于实时生成大型场景的逼真新视角合成；2.将传统图形渲染方法和神经渲染方法相结合，同时使用中等质量的支架网格作为输入，学习神经纹理场和着色器以增强逼真度；3.实验结果表明，本方法比现有的神经渲染方法提供了至少30倍的快速渲染，并在大型自动驾驶和无人机场景中提供了相当或更好的逼真度；4.本论文是首次实现大型现实世界场景的实时渲染。

相关研究包括：1.《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》作者：Mildenhall等；2.《GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis》作者：Liu等；3.《Neural Sparse Voxel Fields》作者：Lombardi等。