HDR Imaging for Dynamic Scenes with Events

高动态范围成像（HDRI）在真实世界动态场景中具有挑战性，因为移动物体可能导致低动态范围和运动模糊的混合退化。现有的基于事件的方法只关注单独的任务，而级联HDRI和运动去模糊将导致次优解决方案，并且不可用的真实锐利HDR图像加剧了困境。为了解决这些挑战，我们提出了一种基于事件的自监督学习范式下的自适应HDRI框架，即Self-EHDRI，它在真实世界动态场景中推广了HDRI性能。具体而言，通过学习从模糊的LDR图像到锐利的LDR图像的跨域转换的自监督学习策略，使得即使缺少真实锐利的HDR图像，中间锐利的HDR图像也能够在过程中访问。然后，我们构建了基于事件的HDRI和运动去模糊模型，并进行统一的网络来恢复中间的锐利HDR结果，同时利用事件的高动态范围和高时间分辨率进行补偿。我们构建了大规模的合成和真实世界数据集来评估我们方法的有效性。全面的实验表明，所提出的Self-EHDRI方法比现有的最先进方法表现出更好的性能。代码、数据集和结果可在https://lxp-whu.github.io/Self-EHDRI上获得。

解决问题：论文旨在解决高动态范围成像（HDRI）在真实场景中受到运动模糊和低动态范围的混合退化的问题，同时缺乏清晰HDR图像作为参考的挑战。

关键思路：论文提出了一种自监督学习范式下的基于事件的HDRI框架，即Self-EHDRI，通过学习从模糊的低动态范围图像到清晰的低动态范围图像的跨域转换，使得在缺乏真实HDR图像的情况下也能够获得中间的清晰HDR图像。然后，构建了基于事件的HDRI和运动去模糊模型，并进行统一的网络恢复中间的清晰HDR结果，同时利用事件的高动态范围和高时间分辨率进行补偿。

其他亮点：论文构建了大规模的合成和真实数据集来评估方法的有效性，实验结果表明，Self-EHDRI方法在真实场景下的HDRI任务中表现优于现有方法。论文提供了数据集和代码。

相关研究：最近的相关研究包括：《Event-based High Dynamic Range Imaging with Self-supervised Exposure Control》、《Event-based High Dynamic Range Imaging using Gaussian Mixture Model》等。