Domain Adaptation for Learned Image Compression with Supervised Adapters

在学习图像压缩（LIC）中，模型通过对来自源领域的图像进行编码和解码训练，通常在自然图像上表现优于传统编解码器；然而，在来自不同领域的图像上，其性能可能远非最优。在本文中，我们通过为每个目标域插入一个适配器模块（包括源域）来解决将预训练模型调整到多个目标域的问题。每个适配器都提高了特定域上的解码器性能，而不会使模型忘记训练时看到的图像。门控网络在解码比特流时计算权重，以最优地混合适配器的贡献。我们在两个最先进的预训练模型上进行了实验验证，观察到在目标域上提高了速率-失真效率，而在源域上没有任何惩罚。此外，门控网络发现与学习的目标域的相似之处，也能提高在这些域之外的图像的编码效率。

本论文旨在解决预训练模型在不同领域的图像压缩效果不佳的问题，提出了一种适应多个目标领域的方法。

通过为解码器插入适配器模块来适应多个目标领域，每个适配器提高了解码器在特定领域的性能，门控网络计算权重以在解码比特流时最优地混合适配器的贡献。

该方法在两个最先进的预训练模型上进行了实验验证，证明了在目标领域上提高了速率失真效率，而不会对源领域造成惩罚。此外，门控网络的能力使其能够更好地编码超出目标领域的图像。

最近的相关研究包括基于深度学习的图像压缩和预训练模型的应用。例如，Deep Image Compression和Variational Autoencoder-based Image Compression等。