论文链接：https://arxiv.org/abs/2010.04595

论文代码：https://github.com/alextrevithick/GRF

本文提出了结合多视角几何和注意力机制的通用神经辐射场 GRF，GRF的单个模型就可以推断出全新类别物体的高质量新视角合成图像。

近期，以ECCV 2020 NeRF 为代表的神经网络隐式场方法在表征三维模型的几何细节和新视角合成等任务上取得了很好的效果。但当前NeRF方法仍存在两个局限：

第一，每个MLP网络只能表征一个单一的结构，不能泛化到新的几何形状上进行表征；

第二，由于沿着光线的每个空间点位置的形状和外观仅由单个像素RGB进行优化，使该位置没有学习到更丰富的几何信息，导致最终渲染图像不够逼真。

针对上述问题，我们提出了结合多视角几何和注意力机制的通用神经辐射场 GRF （如图 1），GRF的单个模型就可以推断出全新类别物体的高质量新视角合成图像。本文的主要贡献包括以下三点：

第一，我们提出了一个用于表征三维形状和外观的通用神经辐射场，对新的几何形状有更强的通用性。

第二，我们集成了多视图几何和注意力机制，可以更好的学习到每条光线上3D空间点的一般局部几何信息，从而提高了新视角图像的合成质量。

第三，我们在大规模数据集上的训练结果表明我们的方法能显著提升baseline，并通过一系列消融实验验证了本方法的优势和合理性。

图1 GRF原理结构图

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除