Asynchronous Large Language Model Enhanced Planner for Autonomous Driving

尽管实时规划器在自主驾驶方面表现出了出色的性能，但大型语言模型（LLM）的不断探索为增强运动规划的可解释性和可控性开辟了途径。然而，基于LLM的规划器仍然面临着重大挑战，包括资源消耗和推理时间的增加，这对实际部署构成了重大障碍。鉴于这些挑战，我们介绍了AsyncDriver，一种新的异步LLM增强闭环框架，旨在利用LLM生成的场景相关指令特征来指导实时规划器进行精确和可控的轨迹预测。一方面，我们的方法突显了LLM在理解和推理向量化场景数据和一系列路由指令方面的能力，展示了它对实时规划器的有效辅助。另一方面，所提出的框架将LLM和实时规划器的推理过程分离。通过利用它们推理频率的异步性，我们的方法成功地降低了LLM引入的计算成本，同时保持了可比较的性能。实验表明，我们的方法在nuPlan的挑战性场景中实现了优越的闭环评估性能。

论文旨在解决基于LLM的规划器在实时规划中面临的计算资源消耗和推理时间延长等挑战，以提高运动规划的可解释性和可控性。

论文提出了一种异步LLM增强闭环框架，利用LLM生成的场景相关指令特征来指导实时规划器进行精确和可控的轨迹预测。该方法将LLM和实时规划器的推理过程异步化，成功降低了LLM引入的计算成本，同时保持了可比较的性能。

论文展示了LLM在理解和推理向量化场景数据和一系列路由指令方面的能力，同时提出了异步化推理的框架来降低计算成本。实验表明，该方法在nuPlan的挑战性场景中实现了优秀的闭环评估性能。

近期的相关研究包括基于LLM的运动规划、实时规划、闭环控制等方向。例如，'End-to-End Learning of Driving Models from Large-Scale Video Datasets'、'Learning to Drive from Simulation without Real World Labels'等。