GeoCalib: Learning Single-image Calibration with Geometric Optimization

从一张图片中，视觉线索可以帮助推断内在和外在摄像机参数，如焦距和重力方向。这种单张图像的校准可以惠及各种下游应用，如图像编辑和3D地图制作。目前解决这个问题的方法基于传统几何学中的线和消失点，或者基于端到端训练的深度神经网络。学习方法更加健壮，但很难推广到新环境，并且比传统方法不够准确。我们假设学习方法缺乏3D几何学提供的约束条件。在这项工作中，我们介绍了GeoCalib，这是一个深度神经网络，通过优化过程利用3D几何学的通用规则。GeoCalib是端到端训练的，用于估计相机参数，并学习从数据中找到有用的视觉线索。在各种基准测试中的实验表明，GeoCalib比现有的传统和学习方法更健壮，更准确。它的内部优化估计不确定性，有助于标记失败案例并有利于下游应用，如视觉定位。代码和训练模型可在https://github.com/cvg/GeoCalib上公开获取。

本论文旨在通过一张图片来推断相机的内在和外在参数，如焦距和重力方向，以此进行单张图像标定，并将其应用于图像编辑和三维建模等下游应用。

GeoCalib是一种基于深度神经网络的标定方法，它通过优化过程利用三维几何的通用规则，从而更加准确和鲁棒。

GeoCalib通过内部优化来估计不确定性，并有助于标记失败案例，从而有助于下游应用如视觉定位。论文在多个基准测试中进行了实验，结果表明GeoCalib比现有的经典方法和学习方法更加鲁棒和准确。论文提供了代码和训练模型的开源。

现有的方法主要基于传统几何学和深度神经网络，其中传统几何学方法更加精确，而学习方法更加鲁棒但难以推广到新环境。