Enhancing End-to-End Autonomous Driving with Latent World Model

目前，端到端自动驾驶引起了广泛关注。当前的端到端方法主要依赖于感知任务（如检测、跟踪和地图分割）的监督，以帮助学习场景表示。然而，这些方法需要大量注释，限制了数据的可扩展性。为了解决这个挑战，我们提出了一种新颖的自监督方法，以增强端到端驾驶而无需昂贵的标签。具体而言，我们的框架LAW使用一个潜在世界模型来预测未来的潜在特征，基于预测的自我动作和当前帧的潜在特征。预测的潜在特征由未来实际观察到的特征进行监督。这种监督同时优化了潜在特征学习和动作预测，大大提高了驾驶性能。因此，我们的方法在开环和闭环基准测试中均取得了最先进的性能，而无需昂贵的注释。

论文旨在提出一种自我监督的方法来增强端到端自动驾驶的性能，避免昂贵的标注成本。

论文提出了一个名为LAW的框架，使用潜在世界模型预测未来的潜在特征，通过当前帧的潜在特征和预测的自我行为进行预测。预测的潜在特征由未来观察到的特征进行监督，从而共同优化潜在特征学习和行为预测，从而大大提高了驾驶性能。

论文的实验结果表明，LAW框架在开环和闭环基准测试中均取得了最先进的性能，无需昂贵的注释。论文使用了多个数据集进行实验，并且开源了代码。

近期的相关研究包括：1. End-to-end Learning for Self-Driving Cars；2. Learning to Drive using Inverse Reinforcement Learning；3. Unsupervised Learning for Physical Interaction through Video Prediction。