图片

论文地址：https://arxiv.org/pdf/2108.11364.pdf

开源代码：https://github.com/JunlinHan/BID

论文动机

这张图基本说明了我们的动机。如果把雨天图像看作一张混合图像，那么它绝不应该仅仅只有 rain streak 这一种元素。其他元素，比如 haze，raindrop，还有 snow 等等都有可能出现。
而在真实世界下这些元素会以什么样的组合出现往往是未知的。那么一个 robust 的模型就需要能处理所有可能的情况（不同元素之间的任意组合），这是目前的模型所做不到的（现在的任务往往是考虑某一种元素，或者某 2 种元素的组合）。在 BID 任务中，我们将不同的元素以一种随机组合的方式来形成混合图像，从而更好的适应真实世界。

图片

任务的setting

给定一定数量的 source component（上文中的元素），来自 source component 的 image 会以一种随机的方式组合起来 (比如有 5 个 source component，单独 1 个，或者随机抽取 3 个 source component 都会出现，一共会有  种组合方式)。需要一个方法来完成 2 个任务：1）预测哪些 source component 参与了混合；2）分离混合图像并重建参与了混合的原始图像。BID 任务非常具有挑战性。

我们的解决方案：提出了一个叫做 BIDeN (Blind Image Decomposition Network) 的网络。

图片

BIDeN 建立在 GAN 的架构上。这里的图是一个（最多）有 4 个 source component 的例子。G 中不同的 head 对应了每个 source component，在这里进行重建任务。D 中会进行正常的 adversarial training，在这个过程中 D 能学习到哪些图像是分离的，哪些是混合的。这些学到的 representation 可以帮助 D 来进行 source component 的预测任务。

数据集以及任务

一共设立了 3 个任务，分别是：

I: Mixed image decomposition across multiple domains. 

II: Real-scenario deraining. 

III: Joint shadow/reflection/watermark removal. 

其中 II 有 2 个子任务：

Task II. A: Real scenario deraining in driving.

Task II.B: Real scenario deraining in general.

接下来对每个任务，我们用一张图来进行一个简单的介绍：

图片

▲ 任务I有如图的8个source component

 

图片

▲ 任务II是去雨，II.A中是在Cityscape上合成雨天的图像。II.B中主要是用自然图像作为rain-free图

图片

▲ 任务III是把去阴影，去水印，还有去反光联合起来了。建立在SRD以及ISTD数据集上。

实验以及结果

还是精简着放结果， 每个任务我们在这只放一张图或表。

图片

这里测试的是 Fruit + Animal 的 case。BIDeN 在 BID setting 中训练，而 baselines 是在传统的 image decomposition setting 训练（也就是只在 2 个 source component 的 mix 中训练）。可以看到 BIDeN 的效果还是很不错的。

图片

Task II.A 上的结果。BIDeN 总体而言比较平衡，对于不同的 case 都能去除不同的元素。所有 baselines 也是在 BID 的训练 setting 中训练的。Restormer 和 MPRNet 这种非常强的 baseline 在简单的 case (case1-2) 表现很好，但在其他复杂 cases 上的表现会略微差一些。

图片

Task II.B 的结果。这里我们用传统 image decomposition setting 和 BID setting 分别训练了 2 个模型。BID setting 的模型在真实图像上表现比传统 image decomposition 的模型要表现的更好。

图片

Task III. baslines 是报的之前的 shadow removal methods 的结果，这些模型是在 shadow removal task 上训练的。受限于 BID setting 的难度，BIDeN 在这个 task 上表现并不好。 
Ablation study 就不在这里写了。总而言之，是一个比较新的，也有一定现实意义的 low-level vision 任务。所有代码和数据集已经全部开源，欢迎大家来玩！有任何问题可以留言，看到了都会尽快回复，或者在 github 提 issue 也 OK。

内容中包含的图片若涉及版权问题，请及时与我们联系删除