Categorical Traffic Transformer: Interpretable and Diverse Behavior Prediction with Tokenized Latent

熟练的交通模型对于自动驾驶车辆（AV）的规划和闭环模拟至关重要，关键设计目标包括准确性、多样的多模式行为、可解释性和下游兼容性。最近，随着大型语言模型（LLMs）的出现，交通模型的另一个理想特征是LLM兼容性。我们提出了分类交通转换器（CTT），这是一个交通模型，它输出连续轨迹预测和标记化的分类预测（车道模式，同伦等）。CTT最突出的特点是其完全可解释的潜在空间，这使得在训练期间可以直接监督来自地面真实情况的潜在变量，并完全避免模式崩溃。因此，CTT可以生成具有语义意义的不同潜在模式条件下的多样化行为，同时在预测准确性方面超越SOTA。此外，CTT的输入和输出标记的能力使其能够与LLMs集成，进行常识推理和零-shot泛化。

这篇论文旨在设计一个交通模型，既能够精确预测交通行为，又能够输出基于语言模型的分类预测结果，以便与大型语言模型进行集成。

Categorical Traffic Transformer (CTT)是一种交通模型，它能够输出连续轨迹预测和基于标记的分类预测结果。CTT的潜在空间完全可解释，可以直接从地面真实值对潜在变量进行监督，并且能够在不发生模式崩溃的情况下生成基于不同潜在模式的多样化行为。

CTT的潜在空间完全可解释，可以直接从地面真实值对潜在变量进行监督，并且能够在不发生模式崩溃的情况下生成基于不同潜在模式的多样化行为。CTT的能够输入和输出标记，使其能够与大型语言模型进行集成。在预测准确性上，CTT胜过了当前的最先进技术。

最近的相关研究包括：《End-to-end learning of driving models from large-scale video datasets》、《Motion prediction for autonomous vehicles using explicit 3d maps》等。