Single Image Rolling Shutter Removal with Diffusion Models

本文介绍了 RS-Diffusion，这是基于扩散模型的单帧滚动快门（RS）校正方法的首次尝试。由于CMOS传感器的逐行曝光，RS伪影会影响帧的视觉质量。大多数先前的方法都集中在多帧方法上，利用连续帧的时间信息进行运动矫正。然而，很少有方法解决更具挑战性但更重要的单帧RS校正。在本文中，我们通过扩散技术提出了一种“图像到运动”的框架，并配备了设计好的补丁注意力模块。此外，我们提出了RS-Real数据集，其中包括捕获的RS帧及其相应的全局快门（GS）基准对。GS帧是通过在捕获过程中获取的惯性测量单元（IMU）陀螺仪数据指导从RS帧中校正出来的。实验表明，我们的RS-Diffusion超过了以前的单个RS校正方法。我们的方法和提出的RS-Real数据集为推进RS校正领域奠定了坚实的基础。

本文旨在解决单帧滚动快门（RS）图像纠正问题，提出了一种基于扩散模型的方法，通过设计的补丁-注意模块实现图像到运动的框架。

本文提出了一种新的基于扩散模型的方法，通过将图像转化为运动信息来解决单帧RS图像纠正问题，相比之前的方法更加高效。

本文提出了RS-Real数据集，包含由RS帧和相应的全局快门（GS）帧组成，通过惯性测量单元（IMU）陀螺仪数据进行纠正。实验结果表明，本文提出的方法优于之前的单帧RS纠正方法。

在该领域的相关研究中，以往的方法主要集中在多帧纠正上，使用连续帧的时间信息进行运动矫正，而本文则是首次提出了基于扩散模型的单帧RS纠正方法。