ASSR-NeRF: Arbitrary-Scale Super-Resolution on Voxel Grid for High-Quality Radiance Fields Reconstruction

本文提出了一种新的框架——任意尺度超分辨率神经辐射场（ASSR-NeRF），用于超分辨率新视角综合（SRNVS）。该方法通过隐式或显式表示构建辐射场，可以在任意尺度上执行新视角综合（NVS）。然而，使用低分辨率（LR）优化进行高分辨率新视角综合（HRNVS）时，基于NeRF的方法通常会导致过度平滑。另一方面，单图像超分辨率（SR）旨在将LR图像增强为HR对应物，但缺乏多视角一致性。为了解决这些挑战，我们提出了一种基于注意力的VoxelGridSR模型，直接在优化的体积上执行3D超分辨率（SR），以实现多视角一致性的SR。我们在不同的场景上进行了训练，以确保方法的泛化性。对于使用LR视图训练的未见过场景，我们可以直接应用VoxelGridSR进一步优化体积并实现多视角一致的SR。我们定量和定性地证明了该方法在SRNVS方面取得了显著的性能。

本论文旨在解决高分辨率新视角合成中存在的过度平滑问题以及单图像超分辨率缺乏多视角一致性的问题。

论文提出了一种名为ASSR-NeRF的框架，通过引入基于注意力机制的VoxelGridSR模型，直接在优化的体积上进行三维超分辨率，从而实现超分辨率新视角合成。

论文在多个数据集上进行了实验，并展示了ASSR-NeRF在高分辨率新视角合成中的显著性能。此外，论文还提供了开源代码。

在相关研究方面，最近的一些相关论文包括：《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》、《DeepVoxels: Learning Persistent 3D Feature Embeddings》、《PixelNeRF: Neural Radiance Fields from One or Few Images》等。