Ranking LLMs by compression

本文将理解过程视为信息压缩，并提出了一种基于无损数据压缩的大型语言模型（LLM）排序方法。我们证明了算术编码下的压缩长度与使用大型语言模型作为先验的累积负对数概率等价，即模型的预训练阶段本质上是学习最优编码长度的过程。同时，可以在不进行实际压缩的情况下获得评估指标压缩比，这大大节省了开销。本文使用了五个大型语言模型作为先验进行压缩，然后比较它们在具有挑战性的自然语言处理任务上的表现，包括句子补全、问答和指代消解。实验结果表明，压缩比和模型性能呈正相关，因此可以作为评估大型语言模型的通用指标。

论文旨在提出一种基于无损数据压缩的方法，以排名大型语言模型（LLMs）的性能，并将其应用于自然语言处理任务。

论文提出了使用大型语言模型作为先验的算术编码压缩长度等价于累积负对数概率的概念，并将其用作评估大型语言模型性能的指标。

论文使用五个大型语言模型作为先验进行压缩，并在句子完成、问答和指代消解等自然语言处理任务中进行了比较。实验结果表明，压缩比和模型性能呈正相关关系。

最近的相关研究包括使用自监督学习方法进行预训练的大型语言模型，如BERT和GPT-2。