让PyTorch创始人直呼「Amazing」的视频「脑补」，动态场景NeRF合成速度提升百倍

来自的密歇根大学的研究者提出了「HexPlane」，一种能高效合成动态场景新视图的方法。该研究引起了 PyTorch 创始人 Soumith Chintala 的关注。

从一组 2D 图像中重建和重新渲染 3D 场景，一直是计算机视觉领域的核心问题，它使许多 AR/VR 应用成为可能。过去几年，重建静态场景方面取得了巨大的进展，但也存在局限性：现实世界是动态的，在复杂场景中，运动应是常态的，而非例外情况。

目前许多表征动态 3D 场景的方法都依赖于构建在 NeRF 基础上的隐式表征。他们训练了一个大型多层感知器（MLP），该感知器可以输入点在空间和时间上的位置，并且输出点的颜色或标准静态场景的形变。任何情况下从新视图渲染图像都是耗资巨大的，因为每个生成的像素都需要许多 MLP 来进行计算。训练进程同样也是缓慢的，需要长达数天的 GPU 时间来建模动态场景。这样的计算瓶颈阻碍了相关方法的广泛应用。

通过使用显式混合的方法，最近的几种静态场景建模方法已经实现了比 NeRF 更大的、速度方面的提升。这些方法使用显式空间数据结构，存储显式场景数据或特征，由小型 MLP 解码。这将模型的容量与其速度解耦，并可以实时渲染高质量的图像。不过这些方法虽然有效，但目前只能应用于静态场景。

内容中包含的图片若涉及版权问题，请及时与我们联系删除