RoFIR: Robust Fisheye Image Rectification Framework Impervious to Optical Center Deviation

本文将鱼眼图像分为中心和偏移两类，根据光学中心位置进行分类。现有的矫正方法仅适用于中心鱼眼图像，而本文提出了一种新的方法，可扩展到偏移鱼眼图像的矫正。挑战在于随机光学中心位置引起的不同全局失真分布模式。为解决这一问题，我们提出了一种失真向量图（DVM），用于测量局部失真的程度和方向。通过学习DVM，模型可以独立地识别每个像素的局部失真，而不依赖于全局失真模式。该模型采用预训练和微调训练范式。在预训练阶段，它预测失真向量图并感知每个像素的局部失真特征。在微调阶段，它预测偏移鱼眼图像的像素级流动图以进行矫正。我们还提出了一种数据增强方法，将中心、偏移和无失真的图像混合在一起。这种数据增强提高了模型在矫正中心和偏移鱼眼图像方面的性能，与单一类型鱼眼图像训练的模型相比。大量实验证明了所提出方法的有效性和优越性。

本篇论文旨在解决鱼眼图像矫正问题中，现有方法只适用于中心型鱼眼图像的局限性，提出一种新的方法以扩展到偏心型鱼眼图像矫正的挑战。

该论文提出了一种扭曲向量图（DVM）的方法，通过学习DVM，模型可以独立地识别每个像素的局部畸变情况，而不依赖于全局畸变模式。该模型采用预训练和微调训练范式，通过预训练阶段和微调阶段分别预测扭曲向量图和像素级流图，以实现偏心型鱼眼图像的矫正。

论文提出了一种数据增强方法，将中心型、偏心型和无畸变的图像混合在一起，提高了模型在矫正中心型和偏心型鱼眼图像方面的性能。实验结果表明，该方法具有很好的效果和优越性。

最近的相关研究包括：《DeepFisheyeNet: A Versatile Deep Learning-Based Fisheye Dewarping Framework》、《A Lightweight and Accurate Fisheye Image Rectification Method Based on a Deep Convolutional Neural Network》等。