Task-Aware Encoder Control for Deep Video Compression

以往深度视频压缩（DVC）的研究通常需要为每个特定的任务训练一个独特的编解码器，要求每个任务都有一个专用的解码器。相比之下，传统的视频编解码器采用灵活的编码器控制器，通过模式预测等机制，使单个编解码器适应不同的任务。受此启发，我们引入了一种创新的深度视频压缩编码器控制器，其具有模式预测和一组图片（GoP）选择模块。我们的方法将控制集中在编码阶段，允许在不同的任务（如检测和跟踪）中进行适应性编码器调整，同时保持与标准预训练DVC解码器的兼容性。实证证据表明，我们的方法适用于多个任务，具有各种现有的预训练DVC。此外，广泛的实验表明，我们的方法比以前的DVC在不同任务中的比特率提高了约25％，只需一个预训练解码器。

该论文旨在解决深度视频压缩（DVC）在机器任务中需要为每个特定任务训练唯一编解码器的问题，而传统视频编解码器则采用灵活的编码器控制器，通过模式预测等机制使单个编解码器适应不同任务。

该论文提出了一种创新的编码器控制器，具有模式预测和GOP选择模块，将控制集中在编码阶段，从而允许在不同任务之间进行可适应的编码器调整，同时与标准预训练DVC解码器兼容。

该论文的实验结果表明，该方法适用于多个任务，并且相比先前的DVC，可以获得约25％的比特率提高。论文还提供了使用的数据集和开源代码。

最近的相关研究包括：“Video Compression with Rate-Distortion Autoencoders”和“End-to-End Optimized Video Compression”。