Light the Night: A Multi-Condition Diffusion Framework for Unpaired Low-Light Enhancement in Autonomous Driving

最近，基于视觉的自动驾驶感知系统因其成本效益和可扩展性而受到广泛关注，特别是与基于激光雷达的系统相比。然而，这些系统在低光条件下往往表现不佳，可能会影响其性能和安全性。为了解决这个问题，本文介绍了LightDiff，这是一个专门针对自动驾驶应用设计的领域定制框架，旨在增强低光条件下的图像质量。具体而言，我们采用了一个多条件控制扩散模型。LightDiff不需要任何人工收集的配对数据，而是利用动态数据退化过程。它包括一个新颖的多条件适配器，可以自适应地控制来自不同模态（包括深度图、RGB图像和文本标题）的输入权重，以有效地照亮黑暗场景并保持上下文一致性。此外，为了使增强后的图像与检测模型的知识相一致，LightDiff采用感知特定的分数作为奖励，通过强化学习来指导扩散训练过程。在nuScenes数据集上进行的大量实验表明，LightDiff可以显著提高几种最先进的3D检测器在夜间条件下的性能，同时实现高视觉质量分数，凸显其保障自动驾驶的潜力。

本论文旨在解决自动驾驶中低光照条件下视觉感知系统表现不佳的问题。

LightDiff是一种针对自动驾驶应用设计的多条件控制扩散模型，能够提高低光照条件下的图像质量，而无需人工收集成对数据。LightDiff采用一种新颖的多条件适配器，自适应地控制不同模态的输入权重，包括深度图、RGB图像和文本标题，以有效地照亮黑暗场景同时保持上下文一致性。此外，为了将增强后的图像与检测模型的知识对齐，LightDiff采用感知特定的分数作为奖励，通过强化学习指导扩散训练过程。实验结果表明，LightDiff可以显著提高多个最先进的3D检测器在夜间条件下的性能，同时达到高视觉质量得分，具有很高的潜力来保障自动驾驶。

本论文提出了一种新的针对自动驾驶应用设计的多条件控制扩散模型LightDiff，能够提高低光照条件下的图像质量；LightDiff采用一种新颖的多条件适配器，自适应地控制不同模态的输入权重，包括深度图、RGB图像和文本标题，以有效地照亮黑暗场景同时保持上下文一致性；LightDiff采用感知特定的分数作为奖励，通过强化学习指导扩散训练过程。

最近在这个领域中，还有一些相关的研究被进行，例如："Learning to See in the Dark"，"A Low-Light Dataset and Benchmark for Robust Visual Perception"等。