SMART: Scalable Multi-agent Real-time Simulation via Next-token Prediction

数据驱动的自动驾驶运动生成任务经常受到数据集大小和数据集之间的域差异限制的影响，这使得它们无法广泛应用于实际场景中。为了解决这个问题，我们引入了SMART，一种新颖的自动驾驶运动生成范例，将向量化地图和代理轨迹数据建模为离散的序列标记。然后，这些标记通过一个仅有解码器的transformer架构进行处理，以训练跨时空序列的下一个标记预测任务。这种类似GPT的方法使得模型能够学习真实驾驶场景中的运动分布。SMART在生成Sim Agents挑战中的大多数指标上取得了最先进的性能，在Waymo Open Motion Dataset（WOMD）的排行榜上排名第一，展示了出色的推理速度。此外，SMART代表了自动驾驶运动领域的生成模型，展现了零-shot泛化能力：仅使用NuPlan数据集进行训练和WOMD进行验证，SMART在Sim Agents挑战中取得了0.71的竞争得分。最后，我们从多个数据集中收集了超过10亿个运动标记，验证了模型的可扩展性。这些结果表明，SMART最初模拟了两个重要的特性：可扩展性和零-shot泛化，并初步满足了大规模实时仿真应用的需求。我们已经发布了所有代码，以促进在自动驾驶领域的运动生成模型的探索。

SMART试图解决数据集大小和领域差距限制对自动驾驶运动生成任务的影响，从而限制了它们在实际场景中的广泛应用。

SMART将矢量化地图和代理轨迹数据建模为离散序列令牌，并通过仅解码器的Transformer架构处理这些令牌，以训练跨时空序列的下一个令牌预测任务。这种GPT风格的方法允许模型学习实际驾驶场景中的运动分布。

SMART在生成Sim Agents挑战中的大多数指标上实现了最先进的性能，在Waymo Open Motion Dataset (WOMD)排行榜上排名第一，展示了显着的推理速度。此外，SMART代表了自动驾驶运动领域的生成模型，展示了零-shot泛化能力。最后，研究人员从多个数据集中收集了超过10亿个运动令牌，验证了模型的可扩展性。

最近的相关研究包括：End-to-End Learning for Self-Driving Cars，Learning to Drive using Inverse Reinforcement Learning，以及Conditional Imitation Learning for Autonomous Driving等。