MSI-NeRF: Linking Omni-Depth with View Synthesis through Multi-Sphere Image aided Generalizable Neural Radiance Field

全景观察使用鱼眼摄像头在机器人感知、重建和远程操作中具有重要意义。然而，传统方法合成的全景图像缺乏深度信息，只能在虚拟现实应用中提供三个自由度（3DoF）的旋转渲染。为了充分保留和利用原始鱼眼摄像头中的视差信息，我们引入了MSI-NeRF，它结合了深度学习全向深度估计和新颖视角渲染。我们首先通过特征提取和输入图像的扭曲构建一个多球面图像作为代价体积。然后分别通过几何和外观解码器进行处理。与直接回归深度图不同，我们进一步使用空间点和插值的3D特征向量作为输入构建了一个隐式辐射场。通过这种方式，我们可以同时实现全向深度估计和6DoF视角合成。我们的方法采用半自监督的方式进行训练。它不需要目标视图图像，只使用深度数据进行监督。我们的网络具有在仅使用四个图像的情况下高效重建未知场景的泛化能力。实验结果表明，我们的方法在深度估计和新颖视角合成任务中优于现有方法。

论文旨在解决使用鱼眼相机合成全景图像时缺乏深度信息和只能提供三自由度旋转渲染的问题，提出了一种结合深度学习和新颖视角渲染的多球面图像神经辐射场（MSI-NeRF）方法。

MSI-NeRF方法通过特征提取和图像变形构建多球面图像成本体积，并分别通过几何和外观解码器进行处理。与直接回归深度图的方法不同，MSI-NeRF进一步利用空间点和插值的三维特征向量构建隐式辐射场，实现全向深度估计和六自由度视角合成。

论文使用半自监督学习方法进行训练，不需要目标视角图像，仅使用深度数据进行监督。实验结果表明，MSI-NeRF方法在深度估计和新颖视角合成任务中优于现有方法。论文还使用了开源数据集，并提供了代码。

在全景图像领域的相关研究包括：S2DNet、PanoDepth、MultiFusion、OmniDepth等。