AccidentSim: Generating Physically Realistic Vehicle Collision Videos from Real-World Accident Reports

收集用于自动驾驶研究的真实世界车辆事故视频具有挑战性，这是因为其稀有性和复杂性。尽管现有的驾驶视频生成方法可以产生视觉上逼真的视频，但它们往往无法提供物理上真实的模拟，因为这些方法缺乏生成准确碰撞后轨迹的能力。在本文中，我们提出了 AccidentSim，这是一种新颖的框架，通过提取和利用真实世界车辆事故报告中的物理线索和上下文信息，生成物理上逼真的车辆碰撞视频。具体来说，AccidentSim 借助可靠的物理模拟器，从事故报告中的物理和上下文信息中复制碰撞后的车辆轨迹，并构建一个车辆碰撞轨迹数据集。然后，该数据集被用来微调一个语言模型，使其能够响应用户提示，并根据用户描述预测各种驾驶场景下物理一致的碰撞后轨迹。最后，我们使用神经辐射场（NeRF）渲染高质量背景，并将其与表现出物理逼真轨迹的前景车辆合并，从而生成车辆碰撞视频。实验结果表明，AccidentSim 生成的视频在视觉和物理真实性方面均表现出色。

论文试图解决生成物理上真实的车辆碰撞视频的问题，特别是在现有方法难以准确模拟碰撞后轨迹的情况下。这是一个具有挑战性的问题，因为需要结合物理规律和真实场景的复杂性。

关键思路是通过提取事故报告中的物理线索和上下文信息，利用可靠的物理模拟器生成碰撞后车辆轨迹，并结合NeRF技术渲染高质量背景，最终生成视觉和物理上都逼真的车辆碰撞视频。相比现有研究，该方法首次系统地将事故报告数据与物理模拟结合，提升了碰撞后轨迹的真实性。

论文设计了完整的框架AccidentSim，包括物理轨迹生成、语言模型微调和NeRF渲染三个模块。实验使用了真实的事故报告数据来构建碰撞轨迹数据集，并验证了生成视频在视觉和物理上的真实性。代码和数据集已开源，为后续研究提供了宝贵资源。值得深入研究的方向包括更复杂的多车碰撞场景和动态环境下的模拟。

最近的相关研究包括：1) 基于GAN的驾驶场景生成方法（如DrivingGAN），但这些方法主要关注视觉效果而非物理真实性；2) 物理引擎驱动的交通模拟（如CARLA），但较少专注于碰撞后行为；3) 结合自然语言处理的交通场景生成（如TrafficLM）。相关论文标题如《DrivingGAN: Photo-realistic Driving Video Generation》和《CARLA: An Open Urban Driving Simulator》。