论文地址：https://arxiv.org/pdf/2204.01587.pdf

开源代码：https://github.com/sohyun-l/fifo

摘要

在恶劣的天气条件下，稳健的视觉识别在现实世界的应用中是非常重要的。在这种情况下，我们提出了一种学习语义分割模型的新方法，该方法对雾气具有很强的适应性。其关键思想是将图像的雾气状况视为其风格，并在分割模型的神经风格空间中缩小不同雾气状况的图像之间的差距。特别是，由于图像的神经风格通常受到其他因素以及雾的影响，我们引入了一个雾通滤波器模块，它可以学习从风格中提取与雾有关的因素。交替优化雾通滤波器和分割模型，逐渐缩小不同雾气条件下的风格差距，并因此可以学习雾气变量特征。我们的方法在三个真实的有雾图像数据集上的表现大大超过了以前的工作。此外，它在雾天和晴天的图像上都提高了性能，而现有的方法在晴天的场景上往往会降低性能。

FIFO模型结构概述

图1：FIFO的整体流水线。在每次迭代训练中，雾通滤波模块和分割网络交替更新。(上图)给定分割网络的特征图的格拉姆矩阵作为输入，雾通滤波模块学习提取雾因子，以便通过雾因子来区分图像的雾气状况。(底部)通过减少不同雾气条件下图像的雾气因子之间的差距以及分割损失来训练分割网络。注意，雾通滤波器是仅用于训练的辅助模块。

初步验证

雾通滤波模块的影响

图2：关于FIFO影响的经验分析。(a) Gram矩阵及其雾化因子分布的二维可视化。(b) Gram矩阵的k-means聚类质量与调整后的Rand指数中相应的雾度因子的质量比较。(c) 用FIFO训练前后不同领域之间的雾式差距，其中差距由两组雾因子之间的平均Hausdorff距离衡量。

通过FIFO学习的雾隐性

图3：由基线重建的图像，FIFO的一个变种缩小了Gram矩阵的差距，和FIFO。

量化结果

与其他方法的性能比较

表1：在三个真实的雾天数据集--苏黎世雾天（FZ）测试v2、雾天驾驶密集（FDD）、雾天驾驶（FD），以及一个晴朗天气数据集--林道风景（Cityscapes lindau 40）上的平均相交量（mIoU）的定量结果。

消融实验

表2：(a) 对域对的影响的分析。CW、SF和RF分别表示晴朗天气、合成雾和真实雾。(b) 雾风格匹配损失、预测一致性损失和雾通滤波模块的影响分析。

归纳到其他天气条件

表3：(a) 多雨城市景观（RC）的定量结果。 (b) 性能（mIoU）与腐败严重程度的关系。FIFO和基线在Frosty Cityscapes和Rainy Cityscapes上进行了评估。(c) 在ACDC数据集上的定量结果，按照基准的无监督学习设置。

定性结果

雾霾数据集的定性结果

图4：真实的雾气数据集的定性结果。(a) 输入图像。(b) 基线。(c) 没有雾通滤波的FIFO。(d) FIFO。(e) 地面实况。

关于其他天气条件的定性结果

图5：雨水和霜冻条件下的定性结果。