AAAI 2023| 一即一切：轻松实现不同 NeRF 系列结构间的转换！

论文链接：https://arxiv.org/abs/2211.15977

开源代码：https://github.com/megvii-research/AAAI2023-PVD

神经辐射场 (NeRF[1])方法已被证明是一种有效的，高质量的 3D 场景表示，并支持诸如编辑，检索，导航等下游任务。目前多种结构都在争夺 NeRF 的核心表示，包括多层感知器 (MLP)、稀疏张量(sparse Tensors)、低秩张量(low-rank Tensors)、哈希表(Hashtables)及其之间的组合。而这些表示目前都有一定程度上的 trade-off，例如基于哈希表的表示通常训练和渲染很快，但其不同分辨率的哈希混叠表示缺乏较为清晰的几何结构，可能会阻碍诸如基于空间关系感知的编辑操作。

为了解决上述问题，我们提出了渐进式的体素蒸馏方案 PVD，该方法可以实现 MLP、稀疏或低秩张量、哈希表等不同结构之间的两两互转。因此 PVD 可以根据不同的下游任务将手头已有模型调整为新的结构表示。PVD 是在不同层次表示上逐步进行的，这种从浅到深的方式使得结构间转换速度很快。比如使用 PVD 将基于哈希表的 Instant-NGP 模型转化为基于 MLP 的 NeRF 模型要比从头开始训练该 MLP 快 10 倍以上，且能实现相近甚至更高水平的图像合成质量。