Uni-ISP: Unifying the Learning of ISPs from Multiple Cameras

现代端到端图像信号处理器（ISPs）可以从RAW/XYZ数据到sRGB（或反向）学习复杂的映射，为图像处理开辟了新的可能性。然而，随着相机型号的多样化不断扩大，开发和维护单个ISP在长期内是不可持续的，这本质上缺乏通用性，阻碍了对多个相机型号的适应性。本文提出了一种新颖的管线Uni-ISP，该管线统一了从多个相机中学习ISP的过程，为多个相机型号提供了准确且通用的处理器。Uni-ISP的核心是通过学习反向/正向ISP和其特殊的训练方案来利用设备感知嵌入。通过这样做，Uni-ISP不仅提高了反向/正向ISP的性能，还解锁了许多现有学习ISP无法访问的新应用。此外，由于没有多个相机同步拍摄的数据集进行训练，我们构建了一个真实的4K数据集FiveCam，其中包括由五部智能手机同步拍摄的超过2400对sRGB-RAW图像。我们进行了大量实验，证明了Uni-ISP在反向/正向ISP的准确性（PSNR提高了+1.5dB/2.4dB），在启用新应用方面的通用性以及对新相机型号的适应性。

Uni-ISP：多相机模型下的图像信号处理问题

通过学习逆向/正向ISP和特殊的训练方案，利用设备感知嵌入来统一多个相机模型的ISP学习，提高了逆向/正向ISP的性能，并解锁了许多新的应用。

论文提出了一种新的Uni-ISP流水线，可以统一学习多个相机模型的ISP，提高了逆向/正向ISP的性能（PSNR提高了+1.5dB/2.4dB），并解锁了许多新的应用。研究人员构建了一个实际的4K数据集FiveCam，包含2400多对由五个智能手机同步捕获的sRGB-RAW图像。

最近的相关研究包括：「DeepISP: 以端到端的方式学习图像信号处理管道」、「Toward Realistic Single-Image Super-Resolution: A New Benchmark and A New Model」、「Deep Image Prior」等。