HybridFlow: Infusing Continuity into Masked Codebook for Extreme Low-Bitrate Image Compression

本文研究了学习图像压缩（LIC）在极低比特率下的挑战性问题。以前基于传输量化连续特征的LIC方法通常由于量化损失严重而导致模糊和噪声重构。虽然以前基于学习码本离散化视觉空间的LIC方法通常由于有限的码字在捕捉忠实细节方面的表示能力不足而给出质量较差的重构。我们提出了一个新的双流框架HybridFlow，它将基于连续特征和基于码本的流组合起来，在极低比特率下实现高感知质量和高保真度。基于码本的流受益于高质量的学习码本先验知识，提供高质量和清晰的重构图像。连续特征流的目标是保持保真度细节。为了实现超低比特率，我们进一步提出了一个基于掩码令牌的变换器，其中我们仅传输码字索引的掩码部分，并通过来自连续特征流的信息引导令牌生成来恢复缺失的索引。我们还开发了一个桥接校正网络，在像素解码中合并两个流以进行最终图像重构，其中连续流特征矫正基于码本的像素解码器的偏差，以施加重构保真度细节。实验结果表明，在极低比特率下，与现有的单流基于码本或基于连续特征的LIC方法相比，我们的方法在几个数据集上表现出卓越的性能。

本篇论文旨在解决极低比特率下的学习图像压缩问题。之前的方法都存在一定的问题，要么模糊嘈杂，要么无法捕捉细节。

本文提出了一个新的双流框架HybridFlow，将基于连续特征和基于码本的流结合起来，以在极低比特率下实现高感知质量和高保真度。同时，还提出了一个基于掩码令牌的转换器，通过令牌生成来恢复码字索引的缺失部分，并使用一个桥接校正网络将两个流合并。

本文的实验结果表明，在极低比特率下，与现有的单流基于码本或基于连续特征的方法相比，HybridFlow方法在几个数据集上表现出优越性能。本文还开源了代码，提供了一些值得继续深入研究的方向。

近期的相关研究包括：1. Learning to Compress Images with Neural Networks（Toderici等，ICLR2016）；2. End-to-End Optimized Image Compression（Theis等，ICLR2017）；3. Variational Image Compression with a Scale Hyperprior（Balle等，ICLR2018）等。