Event-Enhanced Snapshot Compressive Videography at 10K FPS

视频快照压缩成像（SCI）将目标动态场景紧凑地编码成一个快照，并在之后重建其高速帧序列，极大地减少了所需的数据存储空间和传输带宽，同时使低帧率强度相机能够实现高速成像。在实现上，高速动态通过时间变化的模式进行编码，只能重建相应时间间隔的帧，而在连续帧之间发生的动态则会丢失。为了发挥传统快照压缩摄像的潜力，我们提出了一种新颖的混合“强度+事件”成像方案，将事件相机纳入视频SCI设置中。我们提出的系统由双路径光学设置组成，可以同时记录编码的强度测量和中间事件信号，通过收集在传统视频SCI中丢弃的一半光子，实现紧凑和光子高效。相应地，我们开发了一个双分支Transformer，利用两种数据模式之间的互逆关系来解码密集视频帧。在模拟和实际捕获的数据上进行的大量实验表明，我们的方法优于现有的视频SCI和视频帧插值（VFI）方法。通过利用视频中的内在冗余和事件相机的独特特性的新混合设计，我们实现了在0.1毫秒时间间隔内以24 FPS的低成本CMOS图像传感器进行高质量的摄影。

该论文旨在解决视频快速成像中的数据存储和传输问题，同时利用事件相机提高成像质量。

该论文提出了一种混合的“强度+事件”成像方案，将事件相机与视频SCI结合使用，通过双通道光学系统同时记录编码强度测量和中间事件信号，利用双分支Transformer解码密集视频帧。

论文使用了模拟和实际捕获的数据进行了广泛的实验，证明了该方法的优越性。该论文的亮点在于利用了视频中的内在冗余和事件相机的独特特性，实现了低成本CMOS图像传感器以24 FPS的速度进行高质量成像。同时，该论文提供了开源代码。

在这个领域中，最近的相关研究包括“Snapshot Compressive Imaging with a Hybrid Camera”和“Event-based Compressive Sensing for High-speed Imaging”。