FutureDepth: Learning to Predict the Future Improves Video Depth Estimation

本文提出了一种新颖的视频深度估计方法FutureDepth，使模型能够在训练过程中学习预测未来，从而隐式地利用多帧和运动线索来改善深度估计。具体来说，我们提出了一个未来预测网络F-Net，它采用多个连续帧的特征，并经过迭代训练，预测多帧特征向前一时间步。这样，F-Net学习了潜在的运动和对应信息，并将其特征融入深度解码过程中。此外，为了丰富多帧对应线索的学习，我们进一步利用了一个重建网络R-Net，通过自适应遮蔽多帧特征体积的自编码训练。在推理时，F-Net和R-Net都用于生成查询，与深度解码器和最终的细化网络配合使用。通过在多个基准测试数据集上进行广泛实验，包括室内、驾驶和开放领域场景的NYUDv2、KITTI、DDAD和Sintel，我们表明FutureDepth显著改进了基线模型，优于现有的视频深度估计方法，并设置了新的最先进（SOTA）准确度。此外，与现有的SOTA视频深度估计模型相比，FutureDepth更加高效，并且与单目模型相比具有类似的延迟。

本文提出了一种新的视频深度估计方法FutureDepth，旨在通过训练模型预测未来的方式，隐式地利用多帧和运动线索来提高深度估计的准确性。该方法的主要目的是解决视频深度估计中的精度和效率问题。

FutureDepth的关键思路是通过一个未来预测网络F-Net和一个重建网络R-Net，利用多帧和运动线索来提高深度估计的准确性。F-Net通过迭代地预测多帧特征，学习了底层的运动和对应信息，并将其特征融入深度解码过程中。R-Net则通过自适应掩码的多帧特征体积自编码来丰富多帧对应性线索的学习。在推理时，F-Net和R-Net被用于生成查询来与深度解码器以及最终的细化网络一起工作。

本文的亮点在于通过未来预测网络和重建网络，利用多帧和运动线索来提高深度估计的准确性，并在多个基准数据集上进行了广泛的实验，包括NYUDv2、KITTI、DDAD和Sintel，证明FutureDepth明显优于基线模型和现有的视频深度估计方法，并取得了新的最优性能。此外，FutureDepth比现有的SOTA视频深度估计模型更高效，与单眼模型相比具有相似的延迟。

近期在这个领域中，还有一些相关的研究，例如《Learning Monocular Depth Estimation by Predicting Future Stereo Images》、《Unsupervised Learning of Depth and Ego-Motion from Video》等。