E2VIDiff: Perceptual Events-to-Video Reconstruction using Diffusion Priors

事件相机模仿人类视网膜，具有无与伦比的时间分辨率和动态范围，可以捕捉亮度变化。将事件集成到强度中面临着高度不适定的挑战，由于初始条件的不确定性而受到影响。传统的基于回归的深度学习方法在感知质量方面存在缺陷，提供确定性的、常常是不现实的重建。在本文中，我们引入扩散模型来进行事件到视频的重建，从无色事件中实现了色彩丰富、逼真、感知上优越的视频生成。由于预训练扩散模型的图像生成能力和知识，所提出的方法可以在感知和畸变的重建帧之间实现更好的平衡。对基准数据集的大量实验表明，我们的方法可以产生多样、逼真的帧，并忠实于给定的事件。

本论文旨在通过扩散模型将事件转化为视频，从而解决传统回归式深度学习方法在事件到视频重建中存在的问题。

本论文提出使用扩散模型进行事件到视频重建，实现了色彩鲜艳、逼真且感知质量更高的视频生成。

本文的方法在多个基准数据集上进行了广泛实验，证明了其能够产生多样化、逼真的图像，并且相比于之前的方法在感知质量和失真重建方面有更好的平衡。此外，本文还开源了代码。

在相关研究中，有一些与本文类似的研究，例如：《EventGAN: Generative adversarial learning from event data》、《Event-based vision: A survey》等。