DeTra: A Unified Model for Object Detection and Trajectory Forecasting

物体检测和轨迹预测任务在自动驾驶中起着至关重要的作用。这些任务通常以级联方式执行，容易产生复合误差。此外，两个任务之间通常只有非常薄的接口，会产生信息损失。为了解决这些挑战，我们的方法将两个任务的联合形式化为轨迹细化问题，其中第一个姿态是检测（当前时间），而随后的姿态是多个预测（未来时间）的航点。为了解决这个统一的任务，我们设计了一个细化变压器，直接从LiDAR点云和高清地图中推断出物体的存在、姿态和多模态未来行为。我们将这个模型称为DeTra，即物体检测和轨迹预测。在我们的实验中，我们观察到我们的模型在Argoverse 2 Sensor和Waymo Open Dataset上的表现远远优于现有技术，涵盖了广泛的指标范围。最后，我们进行了广泛的消融研究，展示了细化对于这个任务的价值，每个提出的组件都对其性能产生了积极的贡献，并做出了关键的设计选择。

本论文旨在解决自动驾驶中物体检测和轨迹预测这两个任务之间存在的信息瓶颈和误差累计问题，提出了一种联合优化的轨迹细化模型DeTra。

本文提出的DeTra模型将物体检测和轨迹预测任务联合为一个轨迹细化问题，直接从LiDAR点云和高清地图中推断物体的存在、姿态和多模态未来行为，通过Transformer模块实现。

本文的实验结果表明，DeTra模型在Argoverse 2 Sensor和Waymo Open Dataset数据集上均表现出色，明显优于现有的基于级联式模型的方法。此外，本文还进行了大量消融实验，证明了轨迹细化对任务的重要性，以及每个组件对性能的积极贡献。

在该领域的相关研究包括：End-to-End Multi-Modal Multi-Object Tracking (CVPR 2020), Joint 3D Proposal Generation and Object Detection from View Aggregation (CVPR 2019), Complex-YOLO: Real-time 3D Object Detection on Point Clouds (CVPR 2018)等。