A Language Agent for Autonomous Driving

人类级别的驾驶是自动驾驶的终极目标。传统方法将自动驾驶视为感知-预测-规划框架，但它们的系统没有充分利用人类固有的推理能力和经验知识。在本文中，我们提出了一种基本的范式转变，从当前的流程中转变，利用大型语言模型（LLMs）作为认知代理，将人类智能集成到自动驾驶系统中。我们的方法被称为Agent-Driver，通过引入一个可通过函数调用访问的多功能工具库、一个用于决策制定的常识和经验知识的认知记忆以及一个能够进行思维链推理、任务规划、运动规划和自我反思的推理引擎，来转换传统的自动驾驶流程。由LLMs驱动，我们的Agent-Driver具有直观的常识和强大的推理能力，从而实现了更加细致、类似于人类的自动驾驶方法。我们在大规模nuScenes基准测试上评估了我们的方法，广泛的实验证明我们的Agent-Driver明显优于现有的驾驶方法。我们的方法还展示了比这些方法更优越的可解释性和少样本学习能力。代码将被发布。

论文旨在解决自动驾驶中缺乏人类智能的问题，提出了一种基于大型语言模型的认知代理Agent-Driver，试图将人类智能引入自动驾驶系统中。

论文提出了一种基于大型语言模型的认知代理Agent-Driver，通过引入可调用的工具库、认知记忆和推理引擎等组件，将传统的自动驾驶流程进行了转换，从而赋予自动驾驶系统更加人类化的智能。

论文在大规模的nuScenes数据集上进行了实验，证明了Agent-Driver相比于现有的自动驾驶方法在性能上有了很大的提升，并且具有更好的可解释性和少样本学习能力。此外，论文还将代码开源。

相关研究包括传统的自动驾驶流程，以及近年来基于深度学习的自动驾驶方法，例如End-to-End自动驾驶和强化学习自动驾驶等。