Learning Sampling Distribution and Safety Filter for Autonomous Driving with VQ-VAE and Differentiable Optimization

在自动驾驶中，从一个分布中采样轨迹并根据指定的成本函数对它们进行排名是一种常见的方法。通常，采样分布是手工制作的（例如高斯分布或网格分布）。最近，人们开始通过生成模型（如条件变分自编码器（CVAE））学习采样分布。然而，由于CVAE的高斯潜在先验，这些方法无法捕捉驾驶行为的多模态。因此，在本文中，我们通过向量量化变分自编码器（VQ-VAE）重新构想了分布学习，其离散潜在空间能够很好地捕捉多模态采样分布。VQ-VAE使用最优轨迹的演示数据进行训练。我们进一步提出了一种可微分的基于优化的安全过滤器，以最小化修正VQ-VAE采样轨迹，以确保避免碰撞。我们在自我监督学习设置中通过优化层进行反向传播，以学习良好的初始化和安全过滤器的最优参数。我们在密集和激烈的交通情况下与基于CVAE的最新技术进行了广泛的比较，并显示了高达12倍的碰撞率降低，同时在驾驶速度方面具有竞争力。

本文旨在通过学习采样分布来解决自动驾驶中的多模态问题，并提出了一种基于VQ-VAE的离散潜在空间模型。同时，为了确保避免碰撞，还提出了一种可微分的优化安全过滤器。

本文的关键思路是使用VQ-VAE来学习多模态采样分布，通过可微分的优化安全过滤器来确保避免碰撞。

本文通过实验在密集和激进的交通场景中进行了广泛的比较，显示出了与基于CVAE的基线相比，碰撞率降低了多达12倍，同时在驾驶速度方面具有竞争力。此外，本文还提供了数据集和开源代码。

最近在这个领域中，还有一些相关研究，例如：1. Learning Multi-modal Generative Models for Autonomous Driving with Continuous and Discrete Latent Variables；2. Multi-Modal Generative Models for Scalable Weakly-Supervised Learning；3. Learning to Drive in Dense Traffic with Deep Reinforcement Learning。