NeurIPS 2022 | 利用多光照信息的单视角NeRF算法S^3-NeRF，可恢复场景几何与材质信息

在最近的一项研究中，来自香港大学、香港中文大学（深圳）、南洋理工大学、MIT-IBM Waston AI Lab 的研究者们提出了通过利用单视图多光源（single-view，multi-lights）图像，重建完整 3D 场景的工作。

• 论文链接：https://arxiv.org/abs/2210.08936

• 代码链接：https://github.com/ywq/s3nerf

与现有基于法线贴图或深度图的单视图方法不同，S3-NeRF 基于神经场景表征（neural scene representation），同时利用场景中的 shading 和 shadow 信息来重建整个 3D 场景（包括可见 / 不可见区域）。神经场景表征方法使用多层感知器 （MLP）对 连续 3D 空间进行建模，将 3D 点映射到如密度、颜色等的场景属性。尽管神经场景表征在多视图重建和新视图合成方面取得了重大进展，但其在单视图场景建模中的探索较少。与现有依赖多视图照片一致性的基于神经场景表征的方法不同，S3-NeRF 主要通过利用单视图下的 shading 和 shadow 信息来优化神经场。

内容中包含的图片若涉及版权问题，请及时与我们联系删除