StreamMOTP: Streaming and Unified Framework for Joint 3D Multi-Object Tracking and Trajectory Prediction

3D多目标跟踪和轨迹预测是自动驾驶系统中的两个关键模块。通常，传统的方法会分别处理这两个任务，而最近有一些方法开始探索以联合的方式对这两个任务进行建模。然而，这些方法存在单帧训练的限制以及跟踪和预测任务之间坐标表示不一致的问题。本文提出了一种流式和统一的框架，用于联合3D多目标跟踪和轨迹预测（StreamMOTP），以解决上述挑战。首先，我们以流式方式构建模型，并利用内存库更有效地保存和利用跟踪对象的长期潜在特征。其次，引入了相对时空位置编码策略，以弥合两个任务之间的坐标表示差距，并保持轨迹预测的姿态不变性。第三，我们通过双流预测器进一步提高了预测轨迹的质量和一致性。我们在流行的nuScenes数据集上进行了广泛的实验，实验结果表明StreamMOTP的有效性和优越性，在两个任务上显著优于以前的方法。此外，我们还证明了所提出的框架在自动驾驶的实际应用中具有巨大的潜力和优势。

本文旨在解决自动驾驶系统中的3D多物体跟踪和轨迹预测两个任务之间存在的挑战，如单帧训练和跟踪与预测任务之间不一致的坐标表示等。

本文提出了一种流式和统一的框架（StreamMOTP），以解决上述挑战。该框架采用流式构建模型，并利用记忆库更有效地保存和利用跟踪对象的长期潜在特征。同时，引入相对时空位置编码策略来弥合两个任务之间的坐标表示差异，并保持轨迹预测的姿态不变性。最后，通过双流预测器进一步提高预测轨迹的质量和一致性。

本文在流行的nuScenes数据集上进行了广泛的实验，结果表明StreamMOTP在两个任务上都显著优于以前的方法。此外，该框架在实际的自动驾驶应用中也具有巨大的潜力和优势。

在这个领域中，最近还有一些相关的研究，如《Joint 3D Proposal Generation and Object Detection from View Aggregation》、《Joint Monocular 3D Detection and Tracking》等。