TAPVid-3D: A Benchmark for Tracking Any Point in 3D

我们引入了一个新的基准测试，TAPVid-3D，用于评估长距离三维任意点跟踪（TAP-3D）任务。虽然在二维中进行点跟踪（TAP）有许多基准测试可以测量在真实世界视频中的性能，例如TAPVid-DAVIS，但是在三维点跟踪方面却没有。为此，我们利用现有的素材，构建了一个新的三维点跟踪基准测试，其中包括三种不同的数据来源，涵盖了各种物体类型、运动模式以及室内外环境的4,000多个真实世界视频。为了衡量TAP-3D任务的表现，我们制定了一系列指标，扩展了TAP中使用的基于Jaccard的指标，以处理模型间的模糊深度尺度、遮挡和多轨道时空平滑度的复杂性。我们手动验证了大量轨迹以确保视频注释的正确性，并使用现有的跟踪模型构建了竞争基线来评估TAP-3D任务的当前状态。我们预计这个基准测试将作为一个指南，帮助我们提高从单目视频中理解精确的三维运动和表面变形的能力。数据集下载、生成和模型评估的代码可在https://tapvid3d.github.io上获得。

建立一个新的用于评估长距离三维任意点追踪任务的基准，解决三维点追踪领域缺乏基准的问题。

通过利用现有的视频素材，构建一个包含4000多个真实世界视频的新基准，涵盖了不同的物体类型、运动模式和室内外环境，提出了一系列度量标准来衡量TAP-3D任务的性能，包括处理模型之间的深度尺度、遮挡和多轨迹时空平滑性等复杂性。通过构建现有追踪模型的竞争基线来评估TAP-3D任务的现状。

论文手动验证了大量轨迹以确保视频注释的正确性，提供了用于数据集下载、生成和模型评估的代码，值得进一步研究。

最近的相关研究包括TAPVid-DAVIS等用于评估二维点追踪的基准，以及一些三维点追踪算法，如DeepTrack-3D、3D-Siamese等。