Long-Term 3D Point Tracking By Cost Volume Fusion

长期点追踪对于更好地理解非刚性运动在物理世界中的作用至关重要。深度学习方法最近已经被应用于长期点追踪，但是大多数先前的工作主要是在2D中进行的。虽然这些方法受益于成熟的骨干网络和匹配框架，但是它们产生的运动并不总是在3D物理世界中有意义。在本文中，我们提出了第一个深度学习框架，用于3D长期点追踪，可以推广到新的点和视频，而无需在测试时进行微调。我们的模型包含一个成本卷积融合模块，通过变换器架构有效地集成多个过去的外观和运动信息，显著提高了整体跟踪性能。就3D跟踪性能而言，即使在使用地面真实深度和相机姿态将2D点轨迹反投影到合成场景中时，我们的模型也明显优于简单的场景流串联和先前的2D点跟踪方法。

本文旨在提出第一个适用于3D长期点追踪的深度学习框架，并且能够推广到新的点和视频，而不需要测试时微调。作者试图解决在3D物理世界中长期点追踪的问题，以及之前2D点追踪方法在3D物理世界中的不足。

本文提出了一种包含成本体积融合模块的深度学习框架，该模块通过变形器架构有效地整合了多个过去的外观和运动信息，从而显着提高了整体跟踪性能。

本文的亮点包括：1.提出了第一个适用于3D长期点追踪的深度学习框架；2.使用成本体积融合模块和变形器架构来整合多个过去的外观和运动信息，从而提高了跟踪性能；3.在3D跟踪性能方面，本文的模型显着优于简单的场景流链接和之前的2D点追踪方法；4.使用了多个数据集进行实验，并展示了模型的鲁棒性和泛化能力；5.本文提供了开源代码。

最近在这个领域中的相关研究包括：1.《Temporal Cycle-Consistency Learning》；2.《Learning Representations for Correspondence and Flow》；3.《DeepFlow: Large Displacement Optical Flow with Deep Matching》等。