Mapping 1,000+ Language Models via the Log-Likelihood Vector

为了比较大规模的自回归语言模型，我们建议使用在预定义文本集上计算的对数似然向量作为模型特征。这种方法具有坚实的理论基础：当被视为模型坐标时，它们的平方欧几里得距离近似于文本生成概率的Kullback-Leibler散度。我们的方法具有高度的可扩展性，计算成本随模型数量和文本样本数量线性增长，并且易于实现，因为所需的特征是从交叉熵损失中得出的。将此方法应用于超过1,000个语言模型，我们构建了一个“模型地图”，为大规模模型分析提供了新的视角。

该论文试图解决大规模比较自回归语言模型的问题。具体来说，它旨在开发一种高效、可扩展的方法来量化和比较不同语言模型的性能，以提供对这些模型更深入的理解。这是一个相对新颖的问题，尤其是在处理大量模型时。

论文的关键思路是使用基于预定义文本集计算的对数似然向量作为模型特征。通过将这些向量视为模型坐标，其平方欧几里得距离可以近似表示文本生成概率的Kullback-Leibler散度。这种方法不仅有坚实的理论基础，而且计算成本线性增长，易于实现，因为所需的特征可以直接从交叉熵损失中获得。

实验设计上，作者应用该方法对超过1,000个语言模型进行了分析，并构建了一个“模型地图”，为大规模模型分析提供了新的视角。这项工作没有提及是否开源代码，但其提出的方法简单易行，具有很高的实用价值。未来值得继续研究的方向包括探索更多种类的模型特征，以及在不同任务上的表现。

最近在这个领域中，相关研究包括《Evaluating Large Language Models Trained on Code》和《A Mathematical Theory of Communication》等。此外，《On the Measure of Intelligence》也探讨了模型评估的新方法。