UFORecon: Generalizable Sparse-View Surface Reconstruction from Arbitrary and UnFavOrable Data Sets

这篇文章讨论了一种称为“可推广的神经隐式表面重建”的方法，旨在在给定有限数量的多视角图像的情况下，得到未见过场景的准确底层几何形状。然而，现有方法仅在训练和测试阶段使用预定义的分数来选择信息量丰富和相关的视角。这种约束使得该模型在现实世界的场景中不切实际，因为不一定总能够保证有利的组合视角的可用性。为了解决这个问题，作者引入并验证了一种视角组合分数，以指示输入视角组合的有效性。作者发现，以前的方法在任意和不利的情况下输出退化的解决方案。基于这一发现，作者提出了一个名为“UFORecon”的鲁棒的视角组合可推广表面重建框架。为了实现这一目标，作者应用了交叉视角匹配变压器来模拟源图像之间的相互作用，并构建了相关的棱锥体来捕捉全局相关性。此外，作者还明确地将成对的特征相似性作为视角一致的先验进行编码。作者的提出的框架在视角组合的可推广性和传统的在有利视角组合下训练的可推广性协议方面均显著优于以前的方法。该代码可在\url{https://github.com/Youngju-Na/UFORecon}上找到。

本文旨在解决从有限数量的多视角图像中重建精确底层几何形状的问题，而现有方法在训练和测试阶段仅使用预定义的分数选择信息量和相关视角，这限制了模型在现实世界场景中的实用性。

本文提出了一种视角组合评分来指示输入视角组合的有效性，并使用交叉视图匹配变换器对源图像之间的相互作用进行建模，并构建相关棱锥体来捕获全局相关性。此外，还明确编码了成对特征相似性作为视图一致的先验知识。

本文提出的UFORecon框架在视角组合通用性和传统的视角组合训练协议方面都显著优于以前的方法。实验结果表明，本文提出的方法在处理任意和不利的视角组合时能够输出非退化的解决方案。代码已经开源。

最近的相关研究还包括：DeepSDF、Occupancy Networks、IM-NET等。