Enhanced Event-Based Video Reconstruction with Motion Compensation

深度神经网络用于事件驱动视频重建时，常常缺乏可解释性，并且需要高内存需求。最近引入了一种轻量级网络，称为CISTA-LSTC，通过其系统性的架构设计，展示了可以实现高质量的重建。然而，它的建模假设是输入信号和输出重建帧共享相同的稀疏表示，忽略了运动造成的位移。为了解决这个问题，我们提出了对输入强度帧和稀疏编码进行变形以增强重建质量的方法。通过将流网络与CISTA-LSTC集成进行运动补偿，构建了一个称为CISTA-Flow的网络。该系统仅依赖于事件，其中预测的流有助于重建，然后重建帧用于促进流估计。我们还为这个组合系统引入了一个迭代训练框架。结果表明，我们的方法实现了最先进的重建精度，并同时提供可靠的密集流估计。此外，我们的模型具有灵活性，可以集成不同的流网络，表明了它进一步性能提升的潜力。

本文试图解决基于事件的视频重建中的可解释性不足和高内存需求的问题，以及CISTA-LSTC模型假设输入信号和输出重建帧共享相同的稀疏表示，忽略了运动引起的位移的问题。

本文提出了一种新的方法，通过对输入强度帧和稀疏编码进行扭曲来增强重建质量，并将流网络与CISTA-LSTC集成以进行运动补偿。该系统仅依赖于事件，预测的流量有助于重建，然后重建帧用于促进流量估计。此外，本文提出了一种迭代训练框架，用于这种组合系统。

本文的亮点是提出了一种新的方法CISTA-Flow，在事件基础上实现了高质量的视频重建和可靠的稠密流估计。实验结果表明，该方法实现了最先进的重建精度，并且具有灵活性，可以集成不同的流网络，从而提高性能。

最近在这个领域中，还有一些相关的研究，例如：EventSR，EventGAN，DAN，E2VID，Event-Enhanced Multi-View Stereo，等等。