MELON使用摊销推理和一个新的损失函数解决了从未放置的图像进行反演的问题。通过使用一个等价关系来匹配 在一个给定的物体的自相似性图中，使用一个与局部最小值的分布相匹配的等价关系，模数损失将相机空间减少到其商集。到它的商集，其中姿态估计问题变得更加凸出。

MELON: NeRF with Unposed Images Using Equivalence Class Estimation

Axel Levy, Mark Matthews, Matan Sela, Gordon Wetzstein, Dmitry Lagun

[Stanford University & Google]

  1. 神经辐射场能够从少数图像中实现具有逼真质量的新视角合成和场景重建，但需要已知和准确的相机姿势。传统的姿势估计算法在平滑或自相似的场景中是失败的，而从没有姿势的视图中进行逆向渲染的方法需要对摄像机的方向进行粗略的初始化。
  2. 姿势估计的主要困难在于现实生活中的物体在某些变换下几乎是不变的，这使得渲染视图之间的测光距离相对于摄像机参数来说是非凸的。
  3. 利用与相机空间的局部最小值分布相匹配的等价关系，文章将这个空间减少到其商集，在这个商集中，姿势估计成为一个更凸的问题。
  4. 使用神经网络来规范姿态估计，文章证明了该方法--MELON--可以从未处理的图像中重建一个神经辐射场，具有最先进的精度，同时需要的视图比对抗性方法少十倍。

代码地址：https://melon-nerf.github.io

论文地址：https://arxiv.org/pdf/2303.08096.pdf

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除