Rolling Shutter Correction with Intermediate Distortion Flow Estimation

本文提出了一种通过直接估计从全局快门（GS）到滚动快门（RS）的畸变流来纠正RS畸变图像的方法。现有方法通常使用从RS到GS的非畸变流进行校正。它们最初预测连续RS帧之间的流，随后使用时间相关的缩放因子将其重新调整为从RS帧到底层GS图像的位移场。接下来，采用RS感知的向前变形来将RS图像转换为其GS对应图像。然而，这种策略容易出现两个缺点。首先，由于复杂的非线性运动性质，仅通过线性缩放流来进行非畸变流估计会导致不准确。其次，RS感知的向前变形经常导致不可避免的伪影。为了解决这些限制，我们引入了一种新的框架，直接估计畸变流并使用向后变形操作矫正RS图像。具体而言，我们首先提出了一种全局相关性流注意力机制来联合估计初始畸变流和GS特征，然后通过以下粗到细的解码器层进行进一步的细化。此外，还集成了多畸变流预测策略，以进一步缓解不准确流估计的问题。实验结果验证了该方法的有效性，在保持高效率的同时，优于各种基准测试中的现有方法。该项目可在\url{https://github.com/ljzycmd/DFRSC}上获取。

本文旨在通过直接估计全局快门（GS）到滚动快门（RS）的畸变流来纠正RS畸变图像。相比现有方法通常使用从RS到GS的去畸变流进行校正，本文提出的方法更加准确和有效。

本文提出了一个新的框架，通过反向变形操作直接估计畸变流并矫正RS图像。具体来说，文章首先提出了一个全局基于相关性的流注意力机制，联合估计初始畸变流和GS特征，然后通过粗到细的解码器层进行进一步的优化。此外，还集成了多畸变流预测策略，以进一步减轻精度不准的问题。

本文的亮点包括：1. 提出了一种新的直接估计畸变流的方法，相比现有方法更加准确和有效。2. 引入了全局基于相关性的流注意力机制，可以联合估计初始畸变流和GS特征。3. 实验结果表明，本文方法在各种基准测试中表现优异，同时保持高效。4. 代码已开源，项目地址为https://github.com/ljzycmd/DFRSC。

最近在这个领域中，还有一些相关的研究，例如：1.《Deep Video Deblurring for Hand-held Cameras》2.《Deep Stacked Hierarchical Multi-patch Network for Image Deblurring》3.《Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution》