Large Language Models Powered Context-aware Motion Prediction

运动预测是自动驾驶中最基本的任务之一。传统的运动预测方法主要编码地图的向量信息和交通参与者的历史轨迹数据，缺乏对整个交通语义的全面理解，从而影响了预测任务的性能。在本文中，我们利用大型语言模型（LLM）增强了运动预测任务的全局交通语境理解。我们首先进行了系统的提示工程，将复杂的交通环境和交通参与者的历史轨迹信息可视化为图像提示——交通上下文地图（TC-Map），并附带相应的文本提示。通过这种方法，我们从LLM中获得了丰富的交通上下文信息。通过将这些信息整合到运动预测模型中，我们证明了这种上下文可以提高运动预测的准确性。此外，考虑到LLM的成本，我们提出了一种成本效益的部署策略：通过0.7\%的LLM增强数据集，在规模上提高运动预测任务的准确性。我们的研究为增强LLM对交通场景的理解和自动驾驶的运动预测性能提供了有价值的见解。

本论文旨在通过利用大型语言模型（LLMs）来增强交通场景的全局语境理解，从而提高自动驾驶中的运动预测任务的准确性。

通过将交通环境和历史轨迹信息可视化为图像提示（TC-Map），并将其与相应的文本提示相结合，从而获得LLM的丰富交通上下文信息。将该信息集成到运动预测模型中，可以提高运动预测的准确性。

实验结果表明，利用LLMs可以提高自动驾驶中的运动预测任务的准确性。此外，论文还提出了一种成本效益高的部署策略：通过使用0.7％的LLM增强数据集，可以在规模上提高运动预测任务的准确性。值得深入研究。

在这个领域中，最近的相关研究包括：1. A Survey of Motion Prediction and Risk Assessment for Autonomous Vehicles；2. Probabilistic Multi-Agent Trajectory Prediction with Graph Neural Networks。