FREST: Feature RESToration for Semantic Segmentation under Multiple Adverse Conditions

在现实世界的应用中，面对恶劣条件下的鲁棒语义分割至关重要。为了解决在实际场景中训练集中没有标记正常条件图像的挑战性任务，我们提出了FREST，一种新颖的功能恢复框架，用于将语义分割源自由域适应（SFDA）到恶劣条件。FREST交替进行两个步骤：（1）学习只将条件信息与特征分离的条件嵌入空间，以及（2）在已学习的条件嵌入空间上恢复恶劣条件图像的特征。通过交替进行这两个步骤，FREST逐渐恢复特征，减少了恶劣条件的影响。FREST在两个公共基准（即ACDC和RobotCar）上实现了最先进的SFDA至恶劣条件，并且在未见数据集上展现了卓越的泛化能力。

本论文旨在解决在实际场景中，由于缺乏标记的正常图像，在面对恶劣条件下的语义分割问题。是否是一个新问题尚不确定。

FREST框架通过交替两个步骤来解决问题：（1）学习仅将条件信息与特征分离的条件嵌入空间；（2）在学习的条件嵌入空间中恢复恶劣条件图像的特征。通过交替这两个步骤，FREST逐渐恢复特征，减少恶劣条件的影响。

FREST在两个公共基准测试中（即ACDC和RobotCar）达到了最先进的水平，并在未见过的数据集上展现出卓越的泛化能力。实验设计充分，使用了多个数据集，开源了代码。

在这个领域中，最近的相关研究包括：（1）Unsupervised Domain Adaptation for Semantic Segmentation via Class-Balanced Self-Training；（2）AdapNet++: Improved Adaptive Network for Cross-Domain Semantic Segmentation；（3）Domain Adaptation for Semantic Segmentation via Class-Balanced Self-Training with Curriculum Constraints等。