FastSR-NeRF: Improving NeRF Efficiency on Consumer Devices with A Simple Super-Resolution Pipeline

最近，超分辨率（SR）技术已被提出，用于提高神经辐射场（NeRF）的输出，并生成具有增强推理速度的高质量图像。然而，现有的NeRF+SR方法通过使用额外的输入特征、损失函数和/或昂贵的训练过程（例如知识蒸馏）增加了训练开销。在本文中，我们旨在利用SR实现效率提升，而不需要昂贵的训练或架构更改。具体而言，我们构建了一个简单的NeRF+SR管道，直接结合了现有的模块，并提出了一种轻量级的增强技术——随机补丁采样进行训练。与现有的NeRF+SR方法相比，我们的管道减轻了SR计算开销，并且可以训练快达23倍，使其能够在消费设备（如Apple MacBook）上运行。实验表明，我们的管道可以将NeRF输出提高2-4倍，同时保持高质量，在NVIDIA V100 GPU上推理速度提高了最多18倍，在M1 Pro芯片上提高了12.8倍。我们得出结论，SR可以是一种简单但有效的技术，用于提高NeRF模型在消费设备上的效率。

如何提高神经辐射场（NeRF）模型的效率，使其可以在消费设备上运行？

通过简单的NeRF+SR流程和轻量级的数据增强技术，将超分辨率（SR）技术应用于NeRF模型，提高其效率。

论文提出了一个简单的NeRF+SR流程，并使用随机补丁采样作为轻量级的数据增强技术。实验结果表明，该方法可以将NeRF输出的分辨率提高2-4倍，同时保持高质量，可以在消费设备上运行。

最近的相关研究包括NeRF+SR方法的改进，如使用额外的输入特征、损失函数和知识蒸馏等技术。