ICCV 2021 | 字节跳动利用单张图片做三维重建：将NeRF、MPI结合，提出MINE

字节跳动视觉技术团队结合 NeRF 和 Multiplane Image（MPI），提出了一种新的三维空间表达方式 MINE。MINE 通过对单张图片做三维重建，实现新视角合成和深度估算。通过引入隐式神经场（NeRF），研究者将 Multiplane Images （MPI）扩展成连续的深度平面。给定单个图片作为输入，MINE 能在相机视锥中的任意深度，预测出一个四通道的图像，四通道包括 RGB 颜色和空间密度。这种任意深度的四通道预测，实际上是对输入图片的视锥的三维重建，以及对被遮挡内容的填充（inpainting）。我们可以利用被重建和填充的视锥方便地渲染出新视角下的 RGB 图片和深度图，并且渲染过程是可导的。

• 论文地址：https://arxiv.org/pdf/2103.14910.pdf

• 项目地址：https://github.com/vincentfung13/MINE

在 RealEstate10K，KITTI 和 Flowers Light Fields 数据集上的实验表明，MINE 在新视角合成的性能上大幅超越了当前最前沿的方法。同时，在 iBims-1 和 NYU-v2 的实验表明，团队在没有使用真值深度做监督训练的情况下，获得了和前沿方法接近的深度估计性能。

该研究的训练代码与 pretrain model 已经开源。

内容中包含的图片若涉及版权问题，请及时与我们联系删除