Radiance Fields from Photons

2024年07月12日
  • 简介
    神经辐射场(NeRFs)已成为从多个视角捕获的图像进行高质量视图合成的事实标准方法。然而,在野外环境下捕获图像时,仍存在许多问题,例如低光、高动态范围或快速运动导致的模糊重建和明显的伪影。在这项工作中,我们介绍了量子辐射场,这是一种新型的神经辐射场,使用单光子相机(SPCs)以单个光子的粒度进行训练。我们开发了理论和实际的计算技术,用于构建辐射场和从SPCs捕获的非传统、随机和高速二进制帧序列估计密集的相机姿态。我们通过模拟和SPC硬件原型演示了在高速运动、低光和极端动态范围设置下的高保真重建。
  • 图表
  • 解决问题
    使用单光子相机(SPC)捕获的图像在野外条件下存在诸多问题,如低光、高动态范围或快速运动等,导致重建图像出现明显伪影。本文旨在提出一种新的神经辐射场(NeRFs)类别,即量子辐射场(quanta radiance fields),并使用SPCs进行单光子粒度的训练,以实现高保真重建。
  • 关键思路
    本文提出的量子辐射场是通过SPC捕捉的单光子粒度的训练得到的,可解决在野外条件下捕捉的图像存在的诸多问题,包括低光、高动态范围或快速运动等。同时,本文还提出了一种实用的计算技术,用于从SPCs捕获的非传统、随机和高速二进制帧序列中构建辐射场和估计密集相机姿态。
  • 其它亮点
    本文的亮点在于提出了一种新的神经辐射场类别,即量子辐射场,并使用SPCs进行单光子粒度的训练,以实现高保真重建。实验结果表明,该方法可以在高速运动、低光和极端动态范围设置下实现高保真重建。本文还提出了一种实用的计算技术,用于从SPCs捕获的非传统、随机和高速二进制帧序列中构建辐射场和估计密集相机姿态。
  • 相关研究
    最近在相关领域中,也有一些相关研究。例如,2019年的论文“NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis”提出了一种新的方法,使用神经辐射场来合成高质量的视图。还有一些研究关注于如何从低光条件下的图像中提取信息,如2020年的论文“Low-Light Image Enhancement Using Gaussian Mixture Model and Contrast Stretching”。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论