AG-NeRF: Attention-guided Neural Radiance Fields for Multi-height Large-scale Outdoor Scene Rendering

现有的基于神经辐射场（NeRF）的大规模室外场景新视角合成方法主要建立在单一高度上。此外，它们通常需要预先确定摄像机拍摄高度和场景范围，导致在摄像机高度变化时应用效率低下且不实用。在这项工作中，我们提出了一个端到端的框架，称为AG-NeRF，并试图通过基于不同高度的场景合成自由视点图像来减少建立良好重建的训练成本。具体来说，为了解决从低空（无人机级别）到高空（卫星级别）的细节变化问题，我们开发了一种源图像选择方法和一种基于注意力的特征融合方法，以从多高度图像中提取和融合目标视图的最相关特征，以进行高保真渲染。广泛的实验表明，AG-NeRF在56 Leonard和Transamerica基准测试中实现了SOTA性能，并且仅需要半小时的训练时间即可达到与最新的BungeeNeRF相比具有竞争力的PSNR。

本论文旨在解决现有神经辐射场（NeRF）方法在大规模室外场景中只能建立单一高度的问题，并且需要先验的摄像机高度和场景范围，导致在摄像机高度变化时应用效率低下和不实用的问题。

论文提出了一个端到端的框架AG-NeRF，通过合成基于不同高度的场景的自由视点图像，来减少构建良好重建的训练成本。具体而言，通过开发源图像选择方法和基于注意力的特征融合方法来解决从低高度（无人机水平）到高高度（卫星水平）的细节变化问题，从多高度图像中提取和融合目标视图的最相关特征，以实现高保真度渲染。

论文在56 Leonard和Transamerica基准测试上实现了SOTA性能，并且只需要半小时的训练时间就能达到与最新的BungeeNeRF相比有竞争力的PSNR。此外，论文还使用了大规模的室外场景数据集，并开源了代码，为未来的研究提供了基础。

近期在这个领域中，还有一些相关的研究，例如NeRF，BungeeNeRF，等等。