提出的Re-ReND，是一种实现跨设备实时渲染NeRF的方法。该方法接收预先训练的NeRF作为输入，并将其转换为在从手机到VR耳机的各种设备中实时渲染的表示。该方法通过利用标准图形管道、通过单个查询获得像素颜色以及完全避免MLP评估来实现快速渲染。

Re-ReND: Real-time Rendering of NeRFs across Devices

Sara Rojas, Jesus Zarzar, Juan Camilo Perez, Artsiom Sanakoyeu, Ali Thabet, Albert Pumarola, Bernard Ghanem

[KAUST & Meta Research ]

  1. 本文提出了一种在资源有限的设备上实时渲染预先训练好的神经辐射场（NeRF）的新方法。Re-ReND，一种能够在设备间实时渲染NeRFs的方法。
  2. Re-ReND旨在通过将NeRF转换为可由标准图形管线有效处理的表示法来实现实时性能。所提出的方法通过将学习到的密度提取到网格中来提炼NeRF，而学习到的颜色信息被分解成一组代表场景光场的矩阵。
  3. 因子化意味着通过廉价的无MLP矩阵乘法来查询光场，而使用光场可以通过查询光场来渲染一个像素，只需一次，而使用辐射度场时则需要数百次查询。由于所提出的表示方法可以用一个片段着色器来实现，它可以直接与标准的光栅化框架集成。
  4. 其灵活的实现方式可以在低内存需求的情况下实时渲染NeRF，并且可以在各种资源受限的设备上，包括手机和AR/VR头盔。值得注意的是，发现Re-ReND的渲染速度与最先进的技术相比，可以实现超过2.6倍的增长，而质量上没有明显的损失。

https://arxiv.org/pdf/2303.08717.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除