AnyCalib: On-Manifold Learning for Model-Agnostic Single-View Camera Calibration

我们提出了 AnyCalib，这是一种从单张自然场景图像校准相机内参的方法，且不依赖于特定的相机模型。当前的方法大多针对特定的相机模型量身定制，和/或需要图像中包含外部提示（例如重力方向）才能工作。相比之下，我们认为图像中固有的透视和畸变线索已经足以实现与模型无关的相机校准。为了证明这一点，我们将校准过程表述为对每个像素对应光线的回归问题。我们首次展示了这种中间表示方法能够以闭合形式恢复广泛相机模型的内参，包括但不限于：针孔模型、Brown-Conrady 模型以及 Kannala-Brandt 模型。我们的方法还适用于经过编辑的图像，例如裁剪或拉伸后的图像。实验表明，尽管 AnyCalib 使用的数据量比现有方法少几个数量级，但它在性能上始终优于其他方法，包括基于 3D 的基础模型。代码已开源，可访问 https://github.com/javrtg/AnyCalib 获取。

该论文试图解决从单张自然场景图像中校准相机内参的问题，并且希望提出一种与相机模型无关（agnostic）的方法。这是一个具有挑战性的问题，因为传统方法通常依赖于特定的相机模型或外部线索（如重力方向）。虽然已有研究涉及相机校准，但大多数方法无法同时处理多种相机模型和编辑后的图像。

论文的核心思路是通过回归每像素对应的光线方向，将相机校准问题转化为几何表示的中间任务。这种方法允许以闭式解的形式恢复各种相机模型的内参（包括针孔、Brown-Conrady 和 Kannala-Brandt 模型）。相比现有方法，AnyCalib 不仅无需外在提示信息（如重力方向），还能够处理被裁剪或拉伸的图像，体现了更强的泛化能力。

实验表明，AnyCalib 在数据量远小于其他方法的情况下，仍能显著优于包括3D基础模型在内的多种现有方法。此外，该方法适用于多种相机模型，展示了其模型无关性。代码已开源至 https://github.com/javrtg/AnyCalib，这为后续研究提供了便利。未来可以进一步探索如何将此方法应用于更复杂的场景（如动态环境或多视角设置）。

最近的相关研究包括：1) 利用深度学习进行相机校准的工作，例如《Deep Parametric Calibration for Pinhole Cameras》；2) 结合物理约束的几何方法，如《Self-Calibration of Central Cameras from Monocular Sequences》；3) 引入外部提示（如重力方向）的校准方法，如《Gravity-Aware Camera Calibration》。此外，《Calibrating Ultra-Wide Fisheye Cameras Using Deep Learning》针对鱼眼相机提出了类似的研究目标，但依赖特定模型。