Unifying Correspondence, Pose and NeRF for Pose-Free Novel View Synthesis from Stereo Pairs

本文深入探讨了从立体图像对中进行无姿态新视角合成的任务，这是三维视觉中具有挑战性和开创性的任务。我们的创新框架与以往任何框架不同，无缝地集成了2D对应匹配、相机姿态估计和NeRF渲染，促进了这些任务的协同增强。我们通过设计一个利用共享表示的架构来实现这一点，该表示作为增强3D几何理解的基础。利用任务之间固有的相互作用，我们的统一框架采用所提出的训练策略进行端到端训练，以提高整个模型的准确性。通过在来自两个真实世界数据集的不同室内外场景中进行广泛评估，我们证明了我们的方法在极端视角变化和缺乏准确相机姿态的情况下，相对于以前的方法取得了实质性的改进。

本论文的问题是在三维视觉中，实现无姿态新视角合成的任务。这是一个挑战性的任务，需要解决2D对应匹配、相机姿态估计和NeRF渲染等问题。

本论文提出了一种创新的框架，将2D对应匹配、相机姿态估计和NeRF渲染无缝集成在一起，通过共享表示来增强三维几何理解，从而提高模型的准确性。

本论文的亮点包括：1. 提出了一种无姿态新视角合成的创新框架；2. 通过共享表示来增强三维几何理解；3. 通过端到端的训练策略提高模型准确性；4. 在不同的室内和室外场景中进行了广泛的评估，证明了本方法在极端视角变化和相机姿态不准确的情况下具有显著的改进。

最近在这个领域中，还有一些相关的研究，如《NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections》、《Neural Volumes: Learning Dynamic Renderable Volumes from Images》等。