ODTFormer: Efficient Obstacle Detection and Tracking with Stereo Cameras Based on Transformer

本文提出了一种基于Transformer的模型ODTFormer，用于解决机器人自主导航中的障碍物检测和跟踪问题。对于检测任务，我们的方法利用可变形注意力构建了一个3D成本体积，该体积以体素占据网格的形式被逐步解码。我们通过匹配连续帧之间的体素来进一步跟踪障碍物。整个模型可以进行端到端优化。通过在DrivingStereo和KITTI基准测试上进行大量实验，我们的模型在障碍物检测任务中实现了最先进的性能。同时，我们报告了与最先进的障碍物跟踪模型相当的准确性，而仅需要它们计算成本的一小部分，通常是十倍到二十倍的差距。代码和模型权重将公开发布。

提出ODTFormer，一个基于Transformer的模型，旨在解决机器人自主导航中的障碍物检测和跟踪问题。

ODTFormer利用可变形注意力构建3D成本体积，并以体素占用网格的形式逐步解码，以解决检测任务。然后通过匹配连续帧之间的体素来跟踪障碍物。整个模型可以以端到端的方式进行优化。相比于当前领域的研究，ODTFormer的关键思路是使用Transformer进行障碍物检测和跟踪。

实验在DrivingStereo和KITTI数据集上进行，ODTFormer在障碍物检测任务中表现出最先进的性能。同时，在仅需要当前领域研究的十倍到二十倍的计算成本的情况下，ODTFormer也能够实现与最先进的障碍物跟踪模型相当的准确性。此外，作者将代码和模型权重公开发布。

与此相关的研究包括："End-to-End Learning of Driving Models from Sensor Data: A Survey"，"Complex-YOLO: Real-time 3D Object Detection on Point Clouds"等。