Temporal Event Stereo via Joint Learning with Stereoscopic Flow

事件相机是受生物视网膜启发的动态视觉传感器，其特点是具有高动态范围、高时间分辨率和低功耗。这些特征使它们能够在极端条件下感知三维环境。事件数据在时间维度上是连续的，这使得它能够详细描述每个像素的运动。为了充分利用事件相机的时间密集和连续的特性，我们提出了一种新颖的时间事件立体视觉框架，该框架不断利用前几个时间步的信息。通过同时训练事件立体匹配网络和立体光流，我们实现了这一目标。立体光流是一个新的概念，可以捕捉立体相机中所有像素的运动。由于在训练期间获取光流的基准数据很具有挑战性，因此我们提出了一种方法，只使用视差图来训练立体光流。通过使用光流对信息进行时间聚合，事件立体匹配的性能得到了提高。我们在MVSEC和DSEC数据集上实现了最先进的性能。该方法计算效率高，因为它以级联的方式堆叠前面的信息。该代码可在https://github.com/mickeykang16/TemporalEventStereo上获得。

论文旨在解决利用事件相机进行立体匹配的问题，同时利用之前的信息来提高匹配性能。

论文提出了一种新的框架——时间事件立体，通过同时训练事件立体匹配网络和立体光流来持续利用先前的信息，从而提高事件相机的性能。

论文使用MVSEC和DSEC数据集进行实验，并取得了最先进的性能。该方法计算效率高，代码已经开源。

最近在这个领域中，还有一些相关研究，如《EventStereo: Efficient Stereo Matching with Event Cameras》和《Event-based Stereo Matching via Spatio-Temporal Correspondence Search》。