MonoWAD: Weather-Adaptive Diffusion Model for Robust Monocular 3D Object Detection

单目三维物体检测是自动驾驶中一个重要的挑战性任务。现有的方法主要集中在理想天气条件下进行三维检测，这些情况下具有清晰和最佳的可见性。然而，自动驾驶的挑战要求处理天气条件的变化，如雾天等，而不仅仅是晴天。我们引入了MonoWAD，这是一个新颖的具有天气适应扩散模型的天气鲁棒性单目三维物体检测器。它包含两个组件：（1）天气代码本来记忆清晰天气的知识并为任何输入生成天气参考特征，以及（2）天气适应性扩散模型，通过合并天气参考特征来增强输入特征的表示。这在指示根据天气条件需要多少改进输入特征方面起到了注意作用。为了实现这个目标，我们引入了一个天气适应性增强损失，在晴天和雾天条件下增强特征表示。在各种天气条件下的广泛实验表明，MonoWAD实现了天气鲁棒的单目三维物体检测。代码和数据集发布在https://github.com/VisualAIKHU/MonoWAD。

论文试图解决在自动驾驶中的单目3D物体检测在恶劣天气条件下的问题。现有的方法主要集中在理想天气条件下进行3D检测，而MonoWAD提出了一种具有天气适应性的扩散模型，以实现天气鲁棒的单目3D物体检测。

MonoWAD的关键思路是通过天气代码本来记忆清晰天气的知识并为任何输入生成天气参考特征，以及通过天气适应性扩散模型来增强输入特征的表示。该模型通过引入天气适应性增强损失，在清晰和雾天条件下增强特征表示。

论文提出了一种天气适应性的单目3D物体检测算法MonoWAD，通过使用天气代码本和天气适应性扩散模型实现天气鲁棒性。在不同天气条件下进行了广泛的实验，证明了MonoWAD的有效性。论文还公开了代码和数据集。

近期的相关研究包括：(1) 基于深度学习的3D物体检测方法，如Mono3D、MV3D等；(2) 针对不同天气条件下的物体检测的方法，如Foggy Cityscapes等。