XLD: A Cross-Lane Dataset for Benchmarking Novel Driving View Synthesis

在追求安全自动驾驶车辆的过程中，彻底测试自主系统至关重要。这需要创建安全关键场景，超越可以从现实世界数据中安全收集的内容，因为这些场景在公共道路上很少发生。然而，大多数现有NVS方法的评估依赖于从训练数据中零散采样图像帧，使用度量方法将渲染的图像与实际图像进行比较。不幸的是，这种评估协议无法满足闭环模拟的实际要求。具体而言，真正的应用需要能够呈现超出原始轨迹（例如跨车道视图）的新视图，这在现实世界中很难捕捉。为了解决这个问题，本文提出了一种专门为自动驾驶模拟设计的新型驾驶视图合成数据集和基准。该数据集的独特之处在于它包括通过偏离训练轨迹1-4米而捕获的测试图像。它包括六个序列，涵盖各种时间和天气条件。每个序列包含450个训练图像、150个测试图像以及它们对应的相机姿态和内参。利用这个新数据集，我们建立了第一个逼真的基准，用于评估现有NVS方法在仅前置摄像头和多摄像头设置下的表现。实验结果强调了当前方法存在的显著差距，揭示了它们无法满足跨车道或闭环模拟的严格要求。我们的数据集已经在项目页面上公开发布：https://3d-aigc.github.io/XLD/。

论文旨在解决自动驾驶领域中的一项关键问题：如何评估自动驾驶系统在复杂场景下的性能？

论文提出了一种新的驾驶视角合成数据集和基准测试方法，用于评估现有的自动驾驶系统的性能，特别是在跨车道或闭环模拟等复杂情况下的表现。

数据集包括六个序列，每个序列包含450个训练图像、150个测试图像和它们的相机姿态和内部参数。实验结果表明，现有的自动驾驶系统在复杂场景下的表现仍存在巨大差距，需要进一步改进。

最近的相关研究包括：《End-to-End Learning of Lane Change Decisions for Autonomous Driving》、《Learning to Drive in Dense Traffic by Imitating the Behavior of Human Drivers》等。