Track Anything Rapter(TAR)

目标跟踪是计算机视觉中的一项基本任务，具有广泛的实际应用，包括交通监控、机器人和自主车辆跟踪等各个领域。在这个项目中，我们旨在开发一种先进的空中飞行器系统，名为“Track Anything Raptor”（TAR），旨在基于用户提供的多模式查询（如文本、图像和点击）来检测、分割和跟踪感兴趣的对象。TAR利用DINO、CLIP和SAM等先进的预训练模型来估计查询对象的相对姿态。跟踪问题被看作是一项视觉伺服任务，通过先进的运动规划和控制算法，使无人机始终专注于对象。我们展示了如何将这些基础模型与定制的高级控制算法集成，从而在自定义的PX4 Autopilot-enabled Voxl2 M500无人机上部署了一个高度稳定和精确的跟踪系统。为了验证跟踪算法的性能，我们将其与基于Vicon的地面真实性进行比较。此外，我们评估了基础模型在涉及遮挡的情况下帮助跟踪的可靠性。最后，我们测试和验证了该模型与多种模式（如点击、边界框和图像模板）无缝工作的能力。

研究目的是开发一种名为Track Anything Raptor（TAR）的先进的空中车辆系统，旨在基于用户提供的多模式查询（例如文本、图像和点击），检测、分割和跟踪感兴趣的对象。

使用先进的预训练模型（如DINO、CLIP和SAM）估计查询对象的相对姿态，并将跟踪问题作为视觉伺服任务来解决，通过先进的运动规划和控制算法实现无人机对对象的持续关注。

论文展示了如何将这些基础模型与自定义高级控制算法集成，从而在自定义构建的PX4 Autopilot启用的Voxl2 M500无人机上部署高度稳定和精确的跟踪系统。实验使用Vicon进行地面真实性验证，并评估基础模型在涉及遮挡的情况下辅助跟踪的可靠性。此外，还测试和验证了模型与多种模态（如点击、边界框和图像模板）的无缝协作能力。

最近在这个领域中，还有一些相关的研究，例如：1.《A Survey on Object Detection in Autonomous Vehicles: Problems, Datasets and Recent Advancements》；2.《Visual Object Tracking: A Survey》；3.《Online Object Tracking: A Benchmark》。