Temporal Residual Guided Diffusion Framework for Event-Driven Video Reconstruction

事件驱动的视频重建因其高动态范围和快速运动捕捉能力等优势而受到越来越多的关注。然而，目前的方法通常优先从连续事件流中提取时间信息，导致场景中低频纹理特征被过分强调，从而产生过度平滑和模糊的伪影。解决这一挑战需要整合条件信息，包括时间特征、低频纹理和高频事件，以引导去噪扩散概率模型（DDPM）产生准确自然的输出。为了解决这个问题，我们引入了一种新的方法，即基于时间残差引导的扩散框架，有效地利用了时间和基于频率的事件先验。我们的框架包括三个关键的条件模块：预训练的低频强度估计模块、时间循环编码器模块和基于注意力的高频先验增强模块。为了从当前时刻的事件中捕捉场景的时间变化，我们采用时间域残差图像作为扩散模型的目标。通过这三个条件路径和时间残差框架的组合，我们的框架在从事件流中重建高质量视频方面表现出色，缓解了以前方法中常见的伪影和过度平滑等问题。在多个基准数据集上进行的广泛实验验证了我们的框架相对于先前的事件驱动重建方法具有更优越的性能。

本文旨在解决事件重建中过度平滑和模糊伪影的问题，提出了一种结合时间和频率事件先验的新方法。

本文提出了一种新的框架，Temporal Residual Guided Diffusion Framework，通过三个关键的调节模块，包括预训练的低频强度估计模块、时间循环编码器模块和基于注意力的高频先验增强模块，来指导DDPM模型生成准确和自然的输出。

本文的实验结果表明，Temporal Residual Guided Diffusion Framework在多个基准数据集上的表现优于以前的事件重建方法。此外，本文的框架还能够捕捉当前时刻事件的时间场景变化。

与此相关的研究包括：《EventGAN: Event-driven Generative Adversarial Networks for Video Generation》、《Event-based Vision: A Survey》等。