Entropy Law: The Story Behind Data Compression and LLM Performance

数据是大型语言模型（LLMs）的基石，但并非所有数据对于模型学习都是有用的。精心选择的数据可以更好地引出LLMs的能力，同时减少计算开销。大多数方法集中在评估数据选择中单个样本的质量，而忽略了样本之间的组合效应。即使每个样本的质量都很好，它们的组合可能由于内在的同质性或矛盾而不利于教授LLMs。本文旨在揭示LLMs性能与数据选择之间的潜在关系。受LLMs的信息压缩特性启发，我们揭示了一种“熵定律”，它将LLMs性能与数据压缩比和第一轮训练损失相联系，这反映了数据集的信息冗余和内在知识的掌握程度。通过理论推导和实证评估，我们发现模型性能与训练数据的压缩比呈负相关，而通常会产生较低的训练损失。基于熵定律的发现，我们提出了一种高效且通用的数据选择方法，名为\textbf{ZIP}，旨在优先选择显示出低压缩比的数据子集。基于一种多阶段的贪心算法，我们可以选择多样化的数据，从而获得一个具有令人满意的多样性的良好数据子集。我们进行了大量实验证明了熵定律和ZIP在不同LLMs背景和对齐阶段的优越性。我们还展示了一种有趣的熵定律应用，可以在模型训练开始时检测潜在的性能风险。

论文旨在揭示大型语言模型（LLMs）的性能与数据选择之间的关系。它试图解决如何优化数据选择以提高LLMs性能的问题。

论文提出了一个基于熵的方法来优化数据选择，称为ZIP。该方法通过选择具有低压缩比的数据子集来提高LLMs的性能。

论文通过理论推导和实验验证，发现LLMs的性能与数据集的压缩比和第一轮训练损失呈负相关。ZIP是一种高效且通用的数据选择方法，可以通过贪婪方式选择具有多样性的数据子集。实验结果表明，ZIP在不同的LLMs和对齐阶段都具有优越性能。

最近的相关研究包括使用不同的数据选择方法来提高LLMs性能，如使用主动学习或对抗性训练。例如，论文《Adversarial Training Methods for Semi-Supervised Text Classification》和《Dynamic Data Selection for Multi-Domain Language Modeling》。