BEVWorld: A Multimodal World Model for Autonomous Driving via Unified BEV Latent Space

本文介绍了一种名为BEVWorld的新方法，它将多模态传感器输入标记化为统一且紧凑的俯视图（BEV）潜在空间，用于环境建模。世界模型由两部分组成：多模态标记器和潜在BEV序列扩散模型。多模态标记器首先对多模态信息进行编码，解码器能够通过射线投射渲染以自我监督的方式将潜在BEV标记重构为LiDAR和图像观测。然后，潜在BEV序列扩散模型在给定动作标记条件下预测未来情景。实验证明了BEVWorld在自动驾驶任务中的有效性，展示了其在生成未来场景和受益于下游任务（如感知和运动预测）方面的能力。代码可在https://github.com/zympsyche/BevWorld中获得。

论文旨在解决自动驾驶中环境建模的问题，通过将多模态传感器输入编码成Bird's Eye View（BEV）潜在空间中的标记来实现未来场景预测。

论文的关键思路是使用BEV潜在空间来进行环境建模和未来场景预测，通过多模态编码器和潜在BEV序列扩散模型实现。

论文使用了自监督的射线投射渲染方法来重构LiDAR和图像观测值，实验结果表明BEVWorld在自动驾驶任务中具有很好的性能，能够生成未来场景，并有助于感知和运动预测。论文代码已在Github上开源。

在最近的相关研究中，也有一些使用BEV作为环境建模的方法，如PIXOR和SECOND。此外，还有一些使用深度学习模型进行自动驾驶环境建模和未来场景预测的研究，如ChauffeurNet和NEMO。