ChatScene: Knowledge-Enabled Safety-Critical Scenario Generation for Autonomous Vehicles

我们提出了ChatScene，一种基于大型语言模型（LLM）的代理，利用LLM的能力生成自动驾驶车辆的安全关键场景。给定非结构化的语言指令，代理首先使用LLM生成文本描述的交通场景。然后将这些场景描述分解成几个子描述，以指定车辆的行为和位置等细节。代理随后将文本描述的子场景独特地转换为特定领域的语言，然后在模拟器中生成实际代码以进行预测和控制，从而在CARLA模拟环境中创建多样化和复杂的场景。我们代理的一个关键部分是全面的知识检索组件，它通过训练包含场景描述和代码对的知识数据库，有效地将特定的文本描述转换为相应的特定领域代码片段。广泛的实验结果强调了ChatScene在提高自动驾驶车辆安全性方面的有效性。例如，与最先进的基线相比，ChatScene生成的场景在与不同强化学习驾驶代理进行测试时，碰撞率增加了15％。此外，我们表明，通过使用我们生成的安全关键场景来微调不同的基于RL的自动驾驶模型，它们可以实现9％的碰撞率降低，超过当前SOTA方法。ChatScene有效地弥合了交通场景的文本描述和实际CARLA模拟之间的差距，为方便地生成AV的安全关键场景提供了一种统一的方法。

论文旨在利用大型语言模型（LLM）生成自动驾驶车辆的安全关键场景，解决自动驾驶车辆安全性测试和改进的问题。

通过将文本场景描述转化为领域特定语言，生成代码以在CARLA模拟器中进行预测和控制，实现方便地生成复杂的安全关键场景。

论文提出的ChatScene代理利用大型语言模型生成安全关键场景，并通过知识库实现从文本描述到代码的转换。实验结果表明，ChatScene生成的场景与基准相比，碰撞率提高了15％，并且使用生成的场景进行RL模型的微调可以使碰撞率减少9％。

近期相关研究包括使用深度学习生成场景，以及使用强化学习进行自动驾驶模型的训练。相关论文包括：“End-to-end Learning for Self-Driving Cars”和“Learning to Drive in a Day”。