Generalizable Novel-View Synthesis using a Stereo Camera

本文提出了第一个针对多视角立体相机图像的通用视角合成方法。由于最近的立体匹配已经证明了准确的几何预测，我们将立体匹配引入到新视角合成中，以实现高质量的几何重建。为此，本文提出了一种新的框架，称为StereoNeRF，它将立体匹配集成到NeRF（神经辐射场）的通用视角合成方法中。StereoNeRF配备了三个关键组件，以有效地利用立体匹配进行新视角合成：立体特征提取器、深度引导的平面扫描和立体深度损失。此外，我们提出了StereoNVS数据集，这是第一个包括各种真实和合成场景的多视角立体相机图像数据集。我们的实验结果表明，StereoNeRF在通用视角合成方面超越了以前的方法。

论文旨在提出第一个针对多视角立体相机图像的通用视角合成方法，解决几何重建和视角合成的问题。

论文提出了一种新的框架StereoNeRF，将立体匹配与NeRF相结合，实现高质量的几何重建和视角合成。该框架包括三个关键组件：立体特征提取器、深度引导的平面扫描和立体深度损失。

论文提出了StereoNVS数据集，是第一个包含各种真实和合成场景的多视角立体相机图像数据集。实验结果表明，StereoNeRF在通用视角合成方面优于之前的方法。

最近的相关研究包括：NeRF、Multi-view Stereo、DeepView、LegoNets等。