Taming Lookup Tables for Efficient Image Retouching

高清屏幕在终端设备（如用户摄像机、智能手机和电视）中的广泛使用正在推动对图像增强的需求。现有的增强模型通常优化高性能，但在减少硬件推理时间和功耗方面不足，特别是在计算和存储资源受限的终端设备上。为此，我们提出了图像颜色增强查找表（ICELUT），采用LUT实现极其高效的边缘推理，而无需任何卷积神经网络（CNN）。在训练过程中，我们利用逐点（1x1）卷积提取颜色信息，同时使用分裂的全连接层来合并全局信息。然后，这两个组件无缝转换为LUT，以实现硬件无关的部署。ICELUT实现了接近最先进的性能，并具有非常低的功耗。我们观察到，逐点网络结构表现出强大的可扩展性，在重采样后的32x32输入图像上仍然保持良好的性能。这使得ICELUT成为首个完全基于LUT的图像增强器，其速度达到了前所未有的0.4毫秒（GPU）和7毫秒（CPU），至少比任何CNN解决方案快一个数量级。代码可在https://github.com/Stephen0808/ICELUT上获得。

论文旨在解决在具有计算和存储资源限制的边缘设备上进行图像增强时的硬件推理时间和功耗问题。

论文提出了一种基于LUT的图像增强方法ICELUT，使用点卷积提取颜色信息和分裂全连接层来整合全局信息，并将两个组件转换成LUT以实现硬件无关部署，从而实现高效率和低功耗的图像增强。

ICELUT是第一个完全基于LUT的图像增强器，能够在GPU上实现0.4ms的速度，在CPU上实现7ms的速度，比任何CNN解决方案都快至少一个数量级。实验结果表明，点卷积网络结构具有很好的可扩展性，即使在32x32的输入图像下，性能也能得到保持。研究者在GitHub上公开了代码。

最近的相关研究主要集中在使用CNN进行图像增强方面，如EDSR、RCAN、ESRGAN等。