FlowMap: High-Quality Camera Poses, Intrinsics, and Depth via Gradient Descent

本文介绍了FlowMap，一种端到端可微分的方法，用于解决视频序列的精确相机姿态、相机内参和逐帧密集深度。我们的方法执行每个视频的梯度下降最小化，比较由深度、内参和姿态引起的光流与通过现成的光流和点跟踪获得的对应关系的简单最小二乘目标。除了使用点跟踪来鼓励长期的几何一致性外，我们还引入了可微分的深度、内参和姿态重新参数化，这些重新参数化可适用于一阶优化。我们经验证明，我们的方法恢复的相机参数和密集深度可以使用高斯喷洒在360度轨迹上进行照片逼真的新视角合成。我们的方法不仅远远优于先前的基于梯度下降的束调整方法，而且在360度新视角合成的下游任务上与COLMAP这种最先进的SfM方法表现相当（尽管我们的方法完全基于梯度下降，完全可微分，并且完全不同于传统的SfM）。

该论文旨在解决视频序列中相机位姿、相机内参和每帧稠密深度的精确求解问题，以及通过这些参数实现全景图像的生成。这是否是一个新问题？

FlowMap是一种全新的端到端可微分方法，通过最小化简单的最小二乘目标函数，来比较由深度、内参和位姿产生的光流和通过现成的光流和点追踪获得的对应关系，从而进行每个视频的梯度下降优化，同时引入可微分的深度、内参和位姿重新参数化，以利于一阶优化。相比于现有的梯度下降式捆绑调整方法，FlowMap方法表现出更好的性能。

该论文还引入了可微分的深度、内参和位姿重新参数化，以利于一阶优化，并且通过使用点追踪来鼓励长期的几何一致性。实验结果表明，FlowMap方法恢复的相机参数和稠密深度能够实现360度轨迹的照片级别新视角合成，甚至在完全不同于传统SfM的情况下，也能够与当前最先进的SfM方法COLMAP相媲美。该论文的代码已经开源。

最近在这个领域中，还有一些相关的研究，如COLMAP、BundleFusion、DeepSfM等。