如何利用闪光图像（flash image）来去除反光？（CVPR 2021）

大家做计算机视觉应该知道，计算机视觉任务大致可以分为高层（检测，分类），中层（语义分割）和底层（超分辨率..）的任务。越偏向高层的任务越需要语义的信息和人的理解，越底层的任务越注重边缘，纹理之类local的细节。其实高层任务也有偏底层的任务，如单目标跟踪（tracking）。底层任务也有需要语义理解的，今天介绍的去反光（reflection removal）就是一个。我们平时透过玻璃看外面的风景的时候，因为玻璃的反射，所以不可避免的会有反光内容的干扰，这些反光的内容各种各样，有的情况反光强烈的时候连人都无法辨别哪些内容是反光，哪些是真实的物体信息。因此就需要引入一些外部信息来帮助我们。最常见是采用偏光镜技术，也有一些对应的论文。但是偏光镜技术会造成颜色偏移。去年cvpr，brown组有一篇用dual pixel技术来做的。