CoopTrack: Exploring End-to-End Learning for Efficient Cooperative Sequential Perception

协同感知旨在通过多个智能体之间的信息交互，解决单车自动驾驶系统固有的感知局限性。以往的研究主要集中在单帧感知任务上。然而，更具挑战性的协同序列感知任务，例如协同三维多目标跟踪，尚未得到充分研究。因此，我们提出了CoopTrack，这是一个全新的、实例级别的端到端协同跟踪框架，其核心特点是具备可学习的实例关联机制，从根本上区别于现有方法。CoopTrack传输稀疏的实例级特征，在显著增强感知能力的同时，保持了较低的通信开销。此外，该框架包含两个关键组件：多维度特征提取，以及跨智能体关联与聚合，共同实现了包含语义和运动特征的完整实例表征，并基于特征图实现自适应的跨智能体关联与融合。在V2X-Seq和Griffin数据集上的实验表明，CoopTrack表现出色。具体而言，在V2X-Seq数据集上取得了当前最先进的性能，mAP达到39.0%，AMOTA达到32.8%。项目代码已公开，地址为 https://github.com/zhongjiaru/CoopTrack。

论文旨在解决单车自动驾驶系统感知能力受限的问题，特别是在协同多目标跟踪任务中的挑战。现有的研究主要集中在单帧感知任务，而对更复杂的协同序列感知任务（如3D多目标跟踪）研究不足。

论文提出了一种端到端的协同跟踪框架CoopTrack，其核心创新在于可学习的实例关联机制，以及通过稀疏实例级特征传输实现高效通信。与以往方法不同，CoopTrack能够在不同智能体之间进行语义和运动特征的自适应融合。

1. 提出了一种新的协同跟踪框架，包含多维特征提取和跨智能体关联与聚合模块 2. 在V2X-Seq和Griffin数据集上进行了实验验证，取得了SOTA性能（39.0% mAP和32.8% AMOTA） 3. 实现了低传输成本下的高性能感知 4. 项目代码已开源，便于后续研究和复现

1. Cooperative Perception for Intelligent Connected Vehicles 2. V2X-ViT: Vehicle-to-Everything Cooperative Perception with Vision Transformer 3. GRIF: Graph-based Fusion for Cooperative Perception in Intelligent Vehicle Networks