ZS-SRT: An Efficient Zero-Shot Super-Resolution Training Method for Neural Radiance Fields

神经辐射场（NeRF）在合成保持与训练视图相同分辨率的新视图方面取得了巨大成功。然而，对于使用低分辨率训练数据的NeRF来说，合成高质量高分辨率的新视图是具有挑战性的。为了解决这个问题，我们提出了一个零样本超分辨率训练框架，用于NeRF。该框架旨在通过单场景内部学习指导NeRF模型合成高分辨率的新视图，而无需任何外部高分辨率训练数据。我们的方法包括两个阶段。首先，我们通过对预训练的低分辨率粗糙NeRF进行内部学习，学习场景特定的降采样映射。其次，我们通过使用我们的映射函数进行反渲染来优化超分辨率细NeRF，以便将梯度从低分辨率2D空间反向传播到超分辨率3D采样空间。然后，在推理阶段，我们进一步引入了一个时间集成策略来补偿场景估计误差。我们的方法具有两个特点：（1）它不需要消耗高分辨率视图或其他场景数据来训练超分辨率NeRF；（2）它可以通过采用粗到细的策略加速训练过程。通过在公共数据集上进行广泛的实验，我们定性和定量地证明了我们方法的有效性。

如何在没有高分辨率训练数据的情况下，通过单一场景内学习来指导NeRF模型合成高分辨率的新视角？

提出了一种零样本超分辨率训练框架，通过学习场景特定的退化映射和反渲染优化超分辨率NeRF模型，实现从低分辨率2D空间到高分辨率3D采样空间的反向传播梯度，并在推理阶段采用时间集成策略来补偿场景估计误差。

论文的方法不需要额外的高分辨率视角或场景数据来训练超分辨率NeRF模型，采用了粗到精的策略加速训练过程。通过实验在公共数据集上定性和定量证明了方法的有效性。

相关研究包括NeRF的先前工作，以及其他零样本超分辨率方法，如Meta-SR和Zero-shot SRGAN等。