Enhanced Semantic Segmentation Pipeline for WeatherProof Dataset Challenge

本报告介绍了WeatherProof数据集挑战赛（CVPR 2024 UG2+ Track 3）的获胜解决方案。有关挑战的详细信息可在https://cvpr2024ug2challenge.github.io/track3.html上获得。我们提出了一种增强的语义分割流程来应对此挑战。首先，我们改进了语义分割模型，使用经过深度任意预训练的骨干网来改进UperNet模型和SETRMLA模型，并添加了基于天气和类别信息的语言指导到InternImage模型中。其次，我们引入了一个新的WeatherProofExtra数据集，具有更广的视角，并采用了数据增强方法，包括恶劣天气和超分辨率。最后，我们采用了有效的训练策略和集成方法，进一步提高了最终性能。我们的解决方案在最终排行榜上排名第一。代码将在https://github.com/KaneiGi/WeatherProofChallenge上提供。

增强语义分割模型的性能，解决天气变化对室外场景语义分割的影响问题。

通过使用预训练的Depth Anything骨干网络来改进UperNet和SETRMLA模型，并在InternImage模型中添加基于天气和类别信息的语言指导，同时引入新的WeatherProofExtra数据集和数据增强方法，采用有效的训练策略和集成方法来提高模型性能。

论文提出的方法在WeatherProof Dataset Challenge中取得了第一名的成绩，使用了预训练的Depth Anything骨干网络来改进模型性能，引入了新的数据集WeatherProofExtra和数据增强方法来提高模型的泛化能力，采用了有效的训练策略和集成方法来进一步提高模型性能。作者将代码开源在https://github.com/KaneiGi/WeatherProofChallenge。

在该领域的相关研究包括：1. 'Semantic Segmentation with Reverse Attention and Context Guided Network' 2. 'Weather-aware Multi-modal Semantic Segmentation for Autonomous Driving'