Image as an IMU: Estimating Camera Motion from a Single Motion-Blurred Image

在许多机器人和虚拟现实/增强现实（VR/AR）应用中，快速的相机运动会导致严重的运动模糊，从而使现有的相机姿态估计方法失效。在这项工作中，我们提出了一种全新的框架，该框架将运动模糊作为一种丰富的运动估计线索加以利用，而不是将其视为不需要的伪影。我们的方法通过从单张运动模糊图像中直接预测密集的运动流场和单目深度图来实现这一目标。接着，在小运动假设下，我们通过求解一个线性最小二乘问题来恢复相机的瞬时速度。本质上，我们的方法生成了一种类似惯性测量单元（IMU）的测量值，能够稳健地捕捉快速且剧烈的相机运动。为了训练我们的模型，我们构建了一个大规模数据集，其中包含从ScanNet++v2派生的逼真的合成运动模糊，并进一步通过我们在真实数据上的端到端训练管道对模型进行优化。在真实世界基准上的广泛评估表明，我们的方法在角速度和平移速度估计方面达到了最先进的水平，超越了当前的方法如MASt3R和COLMAP。

该论文试图解决在快速相机运动中，由于高程度的运动模糊导致传统相机姿态估计方法失效的问题。这是一个常见但尚未完全解决的问题，尤其是在机器人和VR/AR应用中。

关键思路是将运动模糊视为一种丰富的运动估计线索，而不是将其视为干扰因素。通过从单张运动模糊图像中预测密集的运动流场和单目深度图，并结合小运动假设下的线性最小二乘法求解瞬时相机速度，从而实现类似IMU的效果。这种方法相比现有研究更直接地利用了模糊信息。

论文亮点包括：1）构建了一个大规模数据集，基于ScanNet++v2生成真实感合成运动模糊；2）提出了一个端到端可微分的训练管道以进一步优化模型；3）在多个真实世界基准测试中表现优异，超越了如MASt3R和COLMAP等现有方法。此外，代码是否开源未明确提及，但其提出的方法为未来针对快速运动场景的研究提供了新方向。

近期相关研究包括：1）"MASt3R: Monocular Absolute Scale and Trajectory Recovery" 提出了一种从单目视频恢复绝对尺度和轨迹的方法；2）"DeepBlur: Learning to Deblur Motion-Blurred Images" 探索了基于深度学习的去模糊技术；3）"MotionDeblurGAN: Generative Adversarial Networks for Motion Deblurring" 使用生成对抗网络处理运动模糊问题。这些工作主要集中在减少或消除模糊，而本论文则创新性地利用模糊作为线索进行运动估计。