Aerial-NeRF: Adaptive Spatial Partitioning and Sampling for Large-Scale Aerial Rendering

最近大规模场景渲染的进展已经产生了基于神经辐射场（NeRF）的模型，其具有在小物体和室内场景中合成场景的惊人能力。然而，将这个想法扩展到大规模航空渲染存在两个关键问题。首先，单个NeRF无法对复杂的大规模航空数据集进行高精度渲染，因为每个视线射线沿采样范围不足以充分覆盖建筑物。其次，传统的NeRF无法在一个GPU上进行训练，以实现对大型图像的交互式飞行模拟。相反，现有方法通常将整个场景分成多个区域，并在每个区域上训练一个NeRF，这些方法不熟悉不同的飞行轨迹，并且很难实现快速渲染。为此，我们提出了Aerial-NeRF，它具有三个创新修改，用于共同适应大规模航空渲染中的NeRF：（1）基于无人机姿态设计自适应空间分区和选择方法，以适应不同的飞行轨迹；（2）使用姿态相似性而不是（专家）网络进行渲染加速，以确定新视点属于哪个区域；（3）开发自适应采样方法以提高渲染性能，以覆盖不同高度的整个建筑物。进行了广泛的实验来验证Aerial-NeRF的有效性和效率，并在两个公共大规模航空数据集和SCUTic数据集上取得了新的最先进结果。请注意，与多个竞争对手相比，我们的模型允许我们进行4倍快的渲染。我们的数据集、代码和模型可在https://drliuqi.github.io/上公开获取。

论文旨在解决大规模航拍渲染中的两个关键问题：单个NeRF无法高精度地渲染整个场景，且传统的NeRF无法在一个GPU上进行交互式飞行的训练。

论文提出了Aerial-NeRF，通过三个创新性的修改来适应大规模航拍渲染：基于无人机姿态设计自适应空间分区和选择方法以适应不同的飞行轨迹；使用姿态相似性而非专家网络来确定新视点属于哪个区域以提高渲染速度；开发自适应采样方法以覆盖不同高度的整个建筑物。

论文在两个公共大规模航拍数据集和SCUTic数据集上验证了Aerial-NeRF的有效性和效率，并取得了新的最先进结果。该模型允许我们比多个竞争对手快4倍进行渲染。论文还提供了数据集、代码和模型的公开资源。

最近的相关研究包括：《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》、《DeepVoxels: Learning Persistent 3D Feature Embeddings》、《Neural Scene Graphs for Dynamic Scenes》等。