Accelerating Learned Video Compression via Low-Resolution Representation Learning

近年来，学习视频压缩领域取得了快速发展，最新的神经视频编解码器DCVC-DC在压缩比方面已经超过了即将推出的下一代编解码器ECM。尽管如此，学习视频压缩框架往往表现出较低的编解码速度，主要是由于它们的计算复杂度增加和不必要的高分辨率空间操作，这极大地阻碍了它们在现实中的应用。在本文中，我们介绍了一个针对低分辨率表示学习的效率优化框架，旨在显著提高编解码速度。首先，我们通过减少从解码帧（包括I帧）的重复特征中获取的帧间传播特征的分辨率来减少计算负荷。我们实现了一个联合训练策略，用于I帧和P帧模型，进一步提高了压缩比。其次，我们的方法有效地利用多帧先验进行参数预测，最大程度地减少了解码端的计算。第三，我们重新考虑了在线编码器更新（OEU）策略在高分辨率序列中的应用，实现了显著的压缩比提高，而不影响解码效率。我们的效率优化框架显著改善了学习视频压缩的压缩比和速度之间的平衡。与传统编解码器相比，我们的方法在H.266参考软件VTM的低衰减P配置上实现了相同的性能水平。此外，与DCVC-HEM相比，我们的方法在提高3倍和7倍的编解码速度的同时，提供了可比较的压缩比。在RTX 2080Ti上，我们的方法可以在100毫秒内解码每个1080p帧。

优化学习视频压缩的速度和效率

通过低分辨率表示学习来提高编码和解码速度；使用多帧先验进行参数预测，减少解码端的计算；应用在线编码器更新策略来提高压缩比

实验结果表明，该方法在压缩比和速度之间取得了良好的平衡；与传统编解码器相比，表现与H.266参考软件VTM的低衰减P配置相当；与DCVC-HEM相比，压缩比相当，但编码和解码速度提高了3倍和7倍；在RTX 2080Ti上，该方法可以在100毫秒内解码每个1080p帧

最近的相关研究包括DCVC-DC和ECM等学习视频压缩编解码器的研究