Standard compliant video coding using low complexity, switchable neural wrappers

高分辨率视频的普及给云视频服务带来了巨大的存储和带宽压力，推动了下一代视频编解码器的发展。虽然神经视频编解码取得了很大进展，但现有方法在复杂度和速率失真性能权衡方面仍远未达到经济部署的水平。为了消除神经视频编解码的障碍，本文提出了一个新的框架，具有标准兼容性、高性能和低解码复杂度。我们采用一组联合优化的神经预处理器和后处理器，包装标准视频编解码器，以不同分辨率对视频进行编码。每个目标速率的速率失真最优下采样比率在每个序列级别上向解码器发出信号。我们设计了一个低复杂度的神经后处理器架构，可以处理不同的上采样比率。分辨率的变化利用了高分辨率视频中的空间冗余，而神经包装器通过与编解码器代理的端到端优化进一步实现了速率失真性能的改进。我们的轻量级后处理器架构的复杂度为每像素516个MAC，并在UVG数据集上实现了9.3%的BD-Rate降低，AOM CTC Class A1上实现了6.4%的降低。我们的方法有潜力通过最小的增加复杂性，进一步提高最新视频编码标准的性能。

论文旨在解决高分辨率视频对云视频服务带来的存储和带宽压力，推动下一代视频编解码器的发展。

论文提出了一种新的框架，采用一组联合优化的神经预处理器和后处理器，包装标准视频编解码器，以不同分辨率对视频进行编码。

论文设计了一个低复杂度的神经后处理器架构，可以处理不同的上采样比例。实验结果表明，该方法在UVG数据集上比VVC减少9.3%的BD-Rate，在AOM CTC Class A1上减少6.4%的BD-Rate。

最近的相关研究包括神经视频编码和标准视频编解码器的结合，以及使用神经网络进行视频编解码的研究。