FriendNet: Detection-Friendly Dehazing Network

恶劣的天气条件经常会影响捕捉图像的质量，这不可避免地会影响到先进驾驶辅助系统（ADAS）和自动驾驶的最新物体检测模型。本文提出了一个有趣的问题：图像恢复和物体检测的结合是否可以增强恶劣天气条件下的检测性能？为了回答这个问题，我们提出了一种有效的架构，通过指导信息和任务驱动学习将图像去雾和物体检测联系在一起，实现检测友好的去雾，称为FriendNet。FriendNet旨在提供高质量的感知和高检测能力。与现有的直观将图像去雾视为预处理的努力不同，FriendNet建立了这两个任务之间的积极相关性。去雾网络生成的清晰特征有可能有助于提高物体检测性能。相反，物体检测在任务驱动学习方案下至关重要地指导了图像去雾网络的学习过程。我们阐明了下游任务如何指导上游去雾过程，考虑到网络架构和学习目标。我们设计了指导融合块（GFB）和指导注意力块（GAB）来促进检测信息的整合。此外，将检测任务损失纳入优化过程有助于优化过程的改进。此外，我们引入了一种新的物理感知特征增强块（PFEB），它集成了基于物理的先验知识，以增强特征提取和表示能力。对合成和真实数据集进行的广泛实验表明，我们的方法在图像质量和检测精度方面优于现有技术。我们的源代码可在https://github.com/fanyihua0309/FriendNet上获得。

本文旨在回答一个问题：通过图像恢复和目标检测的结合，能否提高在恶劣天气条件下的目标检测性能？

本文提出了一种称为FriendNet的网络结构，通过引导信息和任务驱动学习将图像去雾和目标检测结合起来，以实现检测友好的去雾。FriendNet旨在提供高质量的感知和高检测能力，与现有的将图像去雾视为预处理的方法不同，FriendNet在这两个任务之间建立了积极的相关性。

本文设计了Guidance Fusion Block（GFB）和Guidance Attention Block（GAB）来促进检测信息的集成，引入了新的物理感知特征增强块（PFEB），将基于物理学的先验知识整合到特征提取和表示能力中。实验结果表明，FriendNet在合成和真实数据集上的表现优于现有的方法，源代码已开源。

最近的相关研究包括："Single Image Dehazing via Conditional Generative Adversarial Network"，"Towards Faster and Better Dehazing Networks"，"Learning to See Through Fog"等。