WeatherProof: Leveraging Language Guidance for Semantic Segmentation in Adverse Weather

我们提出了一种从恶劣天气条件下拍摄的图像中推断语义分割地图的方法。我们首先研究了在受到天气条件（如雨、雾或雪）影响的图像上的现有模型，并发现它们与在晴朗天气下拍摄的图像相比性能大幅下降。为了控制场景结构的变化，我们提出了WeatherProof，这是第一个具有准确的晴天和恶劣天气图像对的语义分割数据集，它们共享相同的场景。通过这个数据集，我们分析了现有模型的误差模式，并发现它们对图像在拍摄过程中受到的不同天气效应的高度复杂组合非常敏感。为了提高鲁棒性，我们提出了一种使用语言作为指导的方法，通过识别恶劣天气条件的贡献并将其注入为“副信息”。使用我们的语言指导训练的模型在WeatherProof上的mIoU性能提高了10.2％，在广泛使用的ACDC数据集上的mIoU性能提高了8.44％，与标准训练技术相比，在ACDC数据集上的mIoU性能提高了6.21％，与以前的SOTA方法相比。

研究如何在恶劣天气条件下从图像中推断语义分割地图。

通过提出一个新的数据集WeatherProof，使用语言作为指导来提高模型的鲁棒性。

WeatherProof数据集是第一个有准确的清晰和恶劣天气图像对的语义分割数据集。使用语言指导的模型在WeatherProof和ACDC数据集上都有显著的性能提升。

最近的相关研究包括：Learning to See Through Heavy Rain，Foggynet: Semantic Segmentation of Foggy Scenes with Y-Net，Adverse Weather Semantic Segmentation with Synthetic Data。