Restoring Images in Adverse Weather Conditions via Histogram Transformer

基于Transformer的逆天气图像修复方法取得了显著的进展。其中大多数方法使用沿通道维度或在空间固定范围块内的自注意力来减少计算负担。然而，这种折衷会导致在捕捉长距离空间特征方面存在局限性。受到天气引起的退化因素主要导致类似的遮挡和亮度变化的观察启发，本文提出了一种高效的直方图Transformer（Histoformer）来恢复受逆天气影响的图像。它由一种称为直方图自注意力的机制驱动，该机制将空间特征按强度分为不同的区间。然后，在区间内或区间之间应用自注意力，以有选择地关注动态范围的空间特征并一起处理类似的长距离退化像素。为了增强直方图自注意力，我们提出了一种动态范围卷积，使传统卷积能够对相似像素而不是相邻像素进行操作。我们还观察到，常见的像素级损失忽略了输出和真值之间的线性关联和相关性。因此，我们建议利用皮尔逊相关系数作为损失函数，以强制恢复像素按照相同的顺序遵循真值。广泛的实验证明了我们提出的方法的有效性和优越性。我们已经在Github上发布了代码。

本论文旨在解决受恶劣天气影响的图像恢复问题，提出了一种基于直方图自注意力的高效直方图变换器（Histoformer）方法。

该方法利用直方图自注意力机制，将空间特征按照强度分段，然后在分段之间或分段内应用自注意力，以便选择性地聚焦于动态范围的空间特征，并同时处理长距离的相似降级像素。

该方法提出了动态范围卷积，使传统卷积能够处理相似像素而不是邻居像素。此外，该论文还提出使用皮尔逊相关系数作为损失函数来强制恢复像素按照与地面真实值相同的顺序排列。实验结果表明，该方法具有很高的效果和优越性能。此外，作者还在Github上公开了源代码。

在这个领域中，最近的相关研究包括：1.基于自注意力机制的图像去雨模型；2.基于对抗性学习的图像去雨方法；3.基于深度学习的图像去雾算法。