Learning to Remove Wrinkled Transparent Film with Polarized Prior

本文研究了一个新问题——膜去除（Film Removal，FR），旨在消除覆盖在工业识别系统上的皱褶透明膜的干扰，重建膜下的原始信息。我们首先对膜覆盖下的工业材料成像进行物理建模。考虑到偏振相机可以有效记录膜的镜面高光，我们构建了一个包含有和无透明膜配对数据的带偏振信息的实际数据集。我们旨在通过端到端的框架消除膜的干扰（镜面高光和其他劣化）。为了定位镜面高光，我们使用角度估计网络来优化偏振角度，以最小化镜面高光。最小化镜面高光的图像被设置为支持重建网络的先验知识。基于先验知识和偏振图像，重建网络可以分离膜的所有劣化。大量实验表明，我们的框架在图像重建和工业下游任务中均达到了SOTA水平。我们的代码将在\url{https://github.com/jqtangust/FilmRemoval}上发布。

本文研究Film Removal (FR)问题，旨在消除工业识别系统中受皱纹透明薄膜干扰的影响并重建原始信息。作者通过物理建模，考虑到极化相机可以有效记录薄膜的镜面高光，构建了一个包含有和无透明薄膜的极化信息的实用数据集。作者旨在利用端到端框架消除薄膜的干扰（包括镜面高光和其他降级），并通过实验证明其在图像重建和工业下游任务方面均达到了SOTA水平。

本文的关键思路是：利用角度估计网络来优化极化角度，以最小化镜面高光，从而确定镜面高光的位置。将最小化镜面高光的图像设置为先验，支持重建网络。基于先验和极化图像，重建网络可以将薄膜的所有降级分离出来。

本文的亮点包括：1. 构建了实用数据集，其中包含有和无透明薄膜的极化信息。2. 提出了一种端到端的框架，可以消除薄膜的干扰并重建原始信息。3. 实验结果表明，该框架在图像重建和工业下游任务方面均达到了SOTA水平。作者已经开源了代码。

在相关研究方面，最近的研究包括：1. 《A Survey on Image Defogging》；2. 《Image Restoration: A Survey and Recent Advances》；3. 《Single Image Dehazing via Conditional Generative Adversarial Network》等。