A Two-Stage Adverse Weather Semantic Segmentation Method for WeatherProof Challenge CVPR 2024 Workshop UG2+

这份技术报告介绍了我们团队在CVPR'24 UG2+的WeatherProof数据集挑战：恶劣天气下的语义分割中提出的解决方案。我们提出了一个两阶段的深度学习框架。在第一阶段，我们通过将图像串联成视频序列来预处理提供的数据集。随后，我们利用低秩视频去雨方法生成高保真度的伪地面真值。这些伪地面真值与原始地面真值相比具有更好的对齐性，在训练过程中有助于模型收敛。在第二阶段，我们采用InternImage网络使用生成的伪地面真值进行语义分割任务的训练。值得注意的是，我们精心设计的框架展示了对在恶劣天气条件下捕获的降质数据的鲁棒性。在挑战赛中，我们的解决方案在平均交叉联合（mIoU）指标上取得了0.43的竞争得分，获得了第四名的可观排名。

本论文旨在解决在恶劣天气条件下的语义分割问题，提出一种两阶段深度学习框架。

第一阶段采用低秩视频去雨方法生成高保真度的伪地面真值，第二阶段使用InternImage网络进行语义分割任务训练。

本论文的框架对于在恶劣天气条件下的数据表现出了鲁棒性，并在挑战赛中取得了第四名的成绩。实验使用了WeatherProof数据集，并开源了代码。

近期相关研究包括：'Learning to See in the Dark'、'Towards Robust Semantic Segmentation in Adverse Weather'、'Single Image Rain Removal via Dilated Convolutional Network'等。