SpikeReveal: Unlocking Temporal Sequences from Real Blurry Inputs with Spike Streams

从模糊图像中重建出一系列清晰图像序列对于提高我们对拍摄场景的洞察力至关重要，但由于图像中嵌入的时间特征有限，这也是一个重大挑战。采样率高达40,000 Hz的Spike相机已被证明在捕捉运动特征方面非常有效，并且有助于解决这个不适定问题。然而，现有方法属于监督学习范式，当应用于真实世界场景时，其性能明显下降，因为这些场景与合成训练数据领域不同。此外，重建图像的质量受到基于运动分析插值生成的图像的限制，这与实际场景本质上不同，影响了这些方法在真实高速场景中的泛化能力。为了解决这些挑战，我们提出了第一个自监督框架，用于Spike引导的运动去模糊任务。我们的方法首先制定了一个Spike引导去模糊模型，探索了Spike流、模糊图像及其对应的清晰序列之间的理论关系。然后，我们开发了一个自监督级联框架，以缓解去模糊模型中遇到的Spike噪声和空间分辨率不匹配问题。通过知识蒸馏和重新模糊损失，我们进一步设计了一个轻量级去模糊网络，生成具有与原始输入相同的亮度和纹理一致性的高质量序列。我们在带有Spike的真实世界和合成数据集上进行了定量和定性实验，验证了所提出框架的优越泛化能力。我们的代码、数据和训练模型将在\url{https://github.com/chenkang455/S-SDM}上提供。

提出了一种自监督框架来解决基于脉冲相机的运动去模糊问题，该方法能够在真实世界的情况下取得优异的性能表现。

论文提出了一种基于脉冲相机的自监督运动去模糊模型，该模型利用脉冲流、模糊图像和对应的清晰图像之间的理论关系，设计了一种级联的自监督框架，以减轻脉冲噪声和空间分辨率不匹配等问题。

论文的亮点包括提出了一种自监督框架，能够在真实世界的情况下获得优异的性能表现；设计了一种轻量级去模糊网络，能够生成与原始输入具有亮度和纹理一致性的高质量序列；通过实验验证了所提出方法的优越性，并公开了代码、数据和训练模型。

在这个领域中，最近的相关研究包括：“Deep Video Deblurring for Hand-held Cameras”、“Learning to Deblur Images with Exemplars”、“Dynamic Scene Deblurring with Parameter Selective Sharing and Nested Skip Connections”等。