Bilateral Event Mining and Complementary for Event Stream Super-Resolution

事件流超分辨率（ESR）旨在解决事件流中空间分辨率不足的挑战，这对于事件相机在复杂场景中的应用具有重要意义。以往的ESR方法通常采用混合范式处理正负事件，这种范式限制了它们有效建模每种事件的独特特征并通过考虑它们的相关性相互修正的能力。本文提出了一种双边事件挖掘和互补网络（BMCNet），以充分利用每个事件的潜力并捕捉共享信息以同时互补彼此。具体而言，我们采用两个流网络分别完成每种类型事件的全面挖掘。为了促进两个流之间的信息交换，我们提出了一个双边信息交换（BIE）模块。该模块在两个流之间嵌入层，可以有效传播分层全局信息，同时减轻由事件固有特性带来的无效信息的影响。实验结果表明，我们的方法在ESR方面优于以往的最先进方法，在真实和合成数据集上都实现了超过11％的性能提升。此外，我们的方法显着提高了基于事件的下游任务（如物体识别和视频重建）的性能。我们的代码可在https://github.com/Lqm26/BMCNet-ESR上找到。

解决问题：论文旨在解决事件流中空间分辨率不足的问题，提出了一种新的双边事件挖掘和互补网络（BMCNet）方法，以更好地利用每种事件的潜力，并捕捉共享信息以相互补充。

关键思路：论文采用双流网络分别处理正事件和负事件，通过双边信息交换模块在两个流之间有效地传播层次全局信息，同时减轻事件固有特性带来的无效信息影响。

其他亮点：实验结果表明，该方法在事件超分辨率方面优于之前的方法，实现了超过11％的性能提升，并显着提高了基于事件的下游任务的性能。研究人员还开源了代码，并提供了可重复使用的数据集。

相关研究：最近的相关研究包括“EventSR”和“EventGAN”，它们也是解决事件相机中低分辨率问题的方法。