DiffCalib: Reformulating Monocular Camera Calibration as Diffusion-Based Dense Incident Map Generation

单目相机标定是许多三维视觉应用的关键前提。尽管已经取得了相当大的进展，现有的方法往往依赖于特定的假设，并且难以推广到各种不同的实际场景，其性能受到训练数据不足的限制。最近，基于广泛数据集训练的扩散模型已被证实能够保持生成多样化、高质量图像的能力。这一成功表明了这些模型在有效理解各种视觉信息方面具有强大的潜力。在本文中，我们利用预训练的扩散模型中蕴含的全面视觉知识，实现更加强大和准确的单目相机内参估计。具体而言，我们将估计相机内参四个自由度（4-DoF）的问题重新定义为密集入射角度图生成任务。该图详细描述了RGB图像中每个像素的入射角度，其格式与扩散模型的范例相吻合。在推理过程中，可以使用简单的非学习RANSAC算法从入射角度图中导出相机内参。此外，为进一步提高性能，我们联合估计深度图，为入射角度图估计提供额外的几何信息。多个测试数据集上的广泛实验证明，我们的模型实现了最先进的性能，在预测误差方面减少了高达40%。此外，实验还表明，我们的管道估计出的精确相机内参和深度图可以极大地有益于单张野外图像的三维重建等实际应用。

本文旨在解决单目相机标定的问题，提出了一种基于扩散模型的方法，通过生成密集的入射角度图来估计相机内参。

本文的关键思路是将相机内参估计问题转化为密集入射角度图的生成任务，并利用预训练的扩散模型来生成这些图像，最后通过简单的非学习性RANSAC算法来推导相机内参。

本文的亮点包括通过扩散模型生成密集的入射角度图来解决单目相机标定的问题，同时还提出了联合估计深度图来提供额外的几何信息。实验结果表明，该方法在多个测试数据集上均取得了最先进的性能，并且估计的相机内参和深度图对单张图像的3D重建等实际应用有很大的帮助。

相关研究包括基于深度学习的单目相机标定方法，如《Deep Single Image Camera Calibration with Radial Distortion》；以及使用其他方法解决单目相机标定问题，如《A Direct Least-Squares Approach to Single-View Camera Calibration》。