Compression Represents Intelligence Linearly

有一种信念认为，学会良好的压缩技巧将会带来智能。最近，语言建模被证明与压缩等效，这为大型语言模型（LLMs）的成功提供了令人信服的理由：更先进的语言模型的发展实际上是增强了压缩，从而促进了智能。尽管有这样吸引人的讨论，但目前缺乏关于压缩和智能之间相互作用的实证证据。在这项工作中，我们在LLMs的上下文中研究它们之间的关系，将LLMs视为数据压缩器。鉴于“智能”的抽象概念，我们采用平均下游基准分数作为替代指标，特别针对与知识和常识、编码和数学推理相关的智能。在12个基准测试中，我们的研究汇集了来自不同组织的30个公共LLMs。值得注意的是，我们发现LLMs的智能——反映在平均基准分数上——几乎与它们压缩外部文本语料库的能力呈线性相关。这些结果提供了具体的证据，支持优秀的压缩能力意味着更强的智能的信念。此外，我们的研究结果表明，作为从原始文本语料库中得出的无监督指标，压缩效率是一种可靠的评估指标，与模型能力呈线性关联。我们公开了我们的压缩数据集以及我们的数据收集管道，以便未来的研究人员能够正确评估压缩技术。

论文旨在研究语言模型与压缩能力之间的关系，探讨压缩能力是否能够反映模型的智能水平。

本文将语言模型视为数据压缩器，通过评估模型在外部文本语料库上的压缩效率，来反映模型的智能水平。

本文使用了30个来自不同机构的公共语言模型，在12个基准测试中进行了评估。结果表明，模型的智能水平与其压缩外部文本语料库的能力呈现近乎线性的相关性。此外，本文开源了压缩数据集和数据收集管道，以便未来研究人员进行评估。

近期的相关研究包括《GPT-3》、《BERT》等大型语言模型的研究。