VcLLM: Video Codecs are Secretly Tensor Codecs

随着大型语言模型（LLMs）的参数规模不断扩大，对大内存占用和高通信带宽的需求已成为LLMs训练和推理的重要瓶颈。为了缓解这些瓶颈，提出了各种张量压缩技术来减少数据大小，从而减轻内存需求和通信压力。我们的研究发现，尽管视频编解码器最初是为压缩视频而设计的，但在压缩各种类型的张量时表现出了极高的效率。我们证明了视频编解码器可以成为通用的张量编解码器，在各种任务中实现最先进的压缩效率。我们进一步利用GPU上可用的硬件视频编解码模块，创建了一个框架，能够使用视频编解码器重新用作张量编解码器进行推理和训练。这大大降低了内存容量和通信带宽的要求，使消费级GPU能够训练和推理大型模型。

论文旨在解决大型语言模型训练和推断中的内存和通信压力问题，提出使用视频编解码器作为张量编解码器以减小数据大小。

使用视频编解码器作为通用的张量编解码器，利用GPU上的硬件视频编解码模块，实现大型模型的训练和推断，减小内存容量和通信带宽的需求。

论文使用视频编解码器作为张量编解码器，展示了在各种任务中达到最先进的压缩效率。实验设计充分，使用了多个数据集，并开源了代码。该方法可以进一步探究和优化。

近期的相关研究包括《Compressing Neural Networks with the Hashing Trick》和《DeepZip: Lossless Data Compression using Recurrent Neural Networks》等。