Temporally Consistent Stereo Matching

立体匹配技术提供了从双目图像中估计深度用于下游应用的方法。这些应用通常以视频流作为输入，并需要具有时间一致性的深度图。然而，现有方法主要集中于单帧水平的估计，这通常会导致时间上的不一致性，特别是在不适宜的区域。本文旨在利用时间信息来改进立体匹配的时间一致性、准确性和效率。为了实现这一目标，我们将视频立体匹配形式化为一个时域视差补全的过程，然后进行连续迭代的精细调整。具体而言，我们首先将前一个时间戳的视差投影到当前视点，获得半密集的视差图。然后，我们通过视差补全模块来完成这张图，得到一个良好初始化的视差图。当前完成模块和过去精细化模块的状态特征被融合在一起，为后续的精细化提供一个时间上连贯的状态。基于这个连贯的状态，我们引入了一个双空间精细化模块，以迭代的方式在视差和视差梯度空间中精细化初始化结果，从而提高在不适宜的区域的估计精度。大量实验表明，我们的方法有效地缓解了时间不一致性，同时提高了准确性和效率。

本论文旨在通过利用时间信息来提高立体匹配的时间一致性、准确性和效率。现有方法主要集中在单帧水平的估计，这通常会导致时间上不一致的结果，特别是在不良位置。论文提出了一种视频立体匹配的方法，将其作为一种时间视差完成和连续迭代细化的过程。

论文提出了一种利用时间信息来提高立体匹配时间一致性的方法。首先，将上一时间戳的视差投影到当前视点，得到一个半密集的视差图。然后，通过视差完成模块完成这个视差图，得到一个良好初始化的视差图。接着，将当前完成模块和过去细化的状态特征融合在一起，为后续的细化提供一个时间上一致的状态。基于这个一致的状态，论文引入了一个双空间细化模块，在视差和视差梯度空间中迭代地细化初始化的结果，提高了在不良位置的估计。

论文通过实验表明，该方法有效地减轻了时间上的不一致性，同时提高了准确性和效率。实验使用了多个数据集，包括KITTI、ETH3D、Scene Flow和Middlebury，证明了该方法的有效性。论文还开源了代码，为后续的研究提供了便利。

最近的相关研究包括：Temporal Stereo Matching with Reinforcement Learning；Temporal Stereo Matching with Short-term Priors；Temporal Consistency for Real-time Dense Stereo Matching；等等。