Prediction and Reference Quality Adaptation for Learned Video Compression

时间预测是视频压缩中最重要的技术之一。传统视频编解码器设计了各种预测编码模式。传统视频编解码器会根据预测质量和参考质量自适应地决定最佳编码模式。最近，学习型视频编解码器取得了很大进展。然而，它们忽略了预测和参考质量的自适应性，导致了时间预测的错误利用和重建误差的传播。因此，在本文中，我们首先提出了一种基于置信度的预测质量自适应(PQA)模块，以明确区分空间和通道预测质量的差异。通过这个模块，低质量的预测将被抑制，高质量的预测将被增强。编解码器可以自适应地决定使用哪个预测的空间或通道位置。然后，我们进一步提出了一个参考质量自适应(RQA)模块和一个相关的重复长时间训练策略，为不同的参考质量提供动态的空间变异滤波器。有了这些滤波器，我们的编解码器更容易根据参考质量实现目标重建质量，从而减少重建误差的传播。实验结果表明，我们的编解码器在RGB和YUV420颜色空间中的压缩性能均优于H.266/VVC参考软件和先前最先进的学习型视频编解码器。

本论文旨在解决学习视频编解码器中忽略预测和参考质量适应性的问题，导致时间预测和重构误差传播的不正确利用。

本文提出了基于置信度的预测质量适应模块（PQA）和参考质量适应（RQA）模块，以及相关的重复长时间训练策略。PQA模块提供空间和通道预测质量差异的明确区分，压制低质量预测并增强高质量预测。RQA模块提供动态空间变异滤波器，以实现根据参考质量达到目标重构质量，从而减少重构误差传播。

本文提出的学习视频编解码器在RGB和YUV420颜色空间中比H.266/VVC的参考软件和之前的最先进的学习视频编解码器具有更高的压缩性能。实验设计了不同的数据集和评价指标，并提供了开源代码。

最近相关的研究包括：1. Learning to Predict and Propagate Objects for Video Object Segmentation（ICCV 2021）；2. Learned Video Compression with Discretization Guided Recurrent Network（CVPR 2021）；3. Learning Temporal Coherence via Self-Supervision for GAN-based Video Generation（ICCV 2021）等。