Versatile Scene-Consistent Traffic Scenario Generation as Optimization with Diffusion

在交通仿真中生成逼真且可控的代理行为对于自主驾驶汽车的发展至关重要。这个问题通常被描述为从真实世界的驾驶数据中进行模仿学习（IL），通过直接预测未来轨迹或使用逆最优控制来推断成本函数。在本文中，我们在IL和基于扩散的生成建模之间建立了概念上的联系，并引入了一种新的框架Versatile Behavior Diffusion（VBD），用于模拟具有多个交通参与者的交互场景。我们的模型不仅生成与场景一致的多智能体交互，还通过多步引导和精细处理实现了场景编辑。实验评估表明，VBD在Waymo Sim Agents基准测试中实现了最先进的性能。此外，我们通过将其应用于各种应用程序来说明我们模型的多功能性。VBD能够产生基于先验条件的场景，与基于模型的优化相结合，通过融合边缘预测来采样多模态的场景一致场景，并在与博弈论求解器相结合时生成安全关键场景。

论文旨在解决交通仿真中生成逼真且可控的智能体行为的问题，这对自动驾驶汽车的发展至关重要。该问题通常被形式化为从真实驾驶数据中进行模仿学习（IL），通过直接预测未来轨迹或通过逆向最优控制推断成本函数。

论文提出了一种新的框架Versatile Behavior Diffusion（VBD），将IL和基于扩散的生成建模联系起来，以模拟具有多个交通参与者的交互场景。该模型不仅能够生成场景一致的多智能体交互，还能通过多步引导和细化实现场景编辑。VBD不仅能够产生先验条件下的场景，还能与基于模型的优化相结合，通过融合边缘预测来采样多模态场景一致的场景，并在与博弈论求解器相结合时生成安全关键场景。

该论文通过实验评估表明，VBD在Waymo Sim Agents基准测试中实现了最先进的性能。此外，该模型的灵活性使其能够适应各种应用场景。论文还介绍了VBD的其他亮点，包括使用了哪些数据集和开源代码等。

在交通仿真领域，最近还有一些相关研究，例如《End-to-End Learning of Driving Models from Large-Scale Video Datasets》、《Motion Prediction for Autonomous Driving with a Conditional Variational Encoder-Decoder Network》等。