来自加州大学伯克利分校的研究者提出了一种名为 Plenoxels 的新方法。这项新研究表明，即使没有神经网络，从头训练一个辐射场（radiance field）也能达到 NeRF 的生成质量，而且优化速度提升了两个数量级。
论文链接：
https://arxiv.org/pdf/2112.05131.pdf
项目主页：
代码链接：
Plenoxel 是一个稀疏体素网格，其中每个被占用的体素角存储一个标量不透明度σ和每个颜色通道的球谐系数向量。作者将这种表征称为 Plenoxel。任意位置和观察方向上的不透明度和颜色是通过对存储在相邻体素上的值进行三线性插值并在适当的观察方向上评估球谐系数来确定的。给定一组校准过的图像，直接使用 training ray 上的渲染损失来优化模型。模型的架构如下图 2 所示。
上图 2 是稀疏 Plenoxel 模型框架的概念图。给定一组物体或场景的图像，研究者在每个体素处用密度和球谐系数重建一个：（a）稀疏体素（Plenoxel）网格。为了渲染光线，他们（b）通过邻近体素系数的三线性插值计算每个样本点的颜色和不透明度。他们还使用（c）可微体素渲染来整合这些样本的颜色和不透明度。然后可以（d）使用相对于训练图像的标准 MSE 重建损失以及总 variation regularizer 来优化体素系数。
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢