Depth Any Video with Scalable Synthetic Data

视频深度估计长期以来一直受到一致性和可扩展性地面真实数据匮乏的阻碍，导致结果不一致且不可靠。本文介绍了Depth Any Video模型，该模型通过两个关键创新来解决这一挑战。首先，我们开发了可扩展的合成数据管道，从多样化的合成环境中捕获实时视频深度数据，生成了40,000个5秒长的视频剪辑，每个剪辑都有精确的深度注释。其次，我们利用生成式视频扩散模型的强大先验知识，有效处理真实世界视频，整合了高级技术，如旋转位置编码和流匹配，进一步提高了灵活性和效率。与之前的模型不同，我们的方法引入了一种新颖的混合时长训练策略，可以处理不同长度的视频序列，并在不同帧率下表现出鲁棒性，甚至在单帧上也能表现出鲁棒性。在推理时，我们提出了一种深度插值方法，使我们的模型能够推断出长达150帧的序列的高分辨率视频深度。我们的模型在空间精度和时间一致性方面优于所有先前的生成深度模型。

论文提出了一个视频深度估计模型，旨在解决缺乏一致性和可扩展性地面真实数据的问题，从而提高视频深度估计的精度和可靠性。

该模型通过两个关键创新解决了这个问题。首先，开发了一个可扩展的合成数据管道，从多样化的合成环境中捕获实时视频深度数据，产生了40000个5秒长的视频剪辑，每个剪辑都有精确的深度注释。其次，利用生成式视频扩散模型的强大先验知识，有效地处理现实世界的视频，整合了高级技术，如旋转位置编码和流匹配，以进一步增强灵活性和效率。

该模型的亮点包括：采用了可扩展的合成数据管道产生大量的视频数据；利用生成式视频扩散模型的先验知识提高了模型的效率和精度；提出了混合长度训练策略，可以处理不同长度的视频序列；在推理时，提出了深度插值方法，可以推断出高分辨率的视频深度。

在这个领域中，最近的相关研究包括：《Learning to Predict Depth on the Edge》、《Unsupervised Monocular Depth Estimation with Left-Right Consistency》、《Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network》等。