Likelihood Variance as Text Importance for Resampling Texts to Map Language Models

我们研究了构建模型映射的计算成本问题，这种映射通过KL散度将多种语言模型嵌入到一个共同的空间中进行比较。该映射依赖于在大规模文本集上的对数似然值，因此其计算成本与文本数量成正比。为了降低这一成本，我们提出了一种重采样方法，该方法根据每条文本在不同模型之间的对数似然值的方差，为其分配权重，并选择重要的文本。我们的方法在显著减少所需文本数量的同时，保留了KL散度估计的准确性。实验表明，该方法仅使用约一半的文本即可达到与均匀采样相当的性能，同时还能高效地将新模型融入现有的映射中。这些结果使得语言模型映射的构建更加可扩展且高效。

该论文试图解决构建语言模型比较地图（model map）时的高计算成本问题，特别是当使用KL散度作为比较指标时，需要对大量文本计算对数似然性。这是一个重要但非全新的问题，因为随着语言模型数量的增长，高效且准确地比较它们变得越来越关键。

论文提出了一种基于重采样的方法，通过选择具有较高对数似然性方差的重要文本，减少所需文本的数量。这种方法的核心是根据每个文本在不同模型间的差异动态分配权重，从而显著降低计算开销，同时保持KL散度估计的准确性。与传统的均匀采样相比，这是对数据分布特性的更智能利用。

实验表明，该方法只需约一半的文本量即可达到与均匀采样相当的性能，并且能够更高效地将新模型融入现有的模型地图中。此外，这种方法不仅提高了效率，还为未来的可扩展性研究提供了基础。虽然论文未明确提及代码开源情况，但其提出的理论框架清晰，便于复现和进一步优化。值得深入研究的方向包括：如何结合主动学习策略进一步改进采样效率，以及如何将此方法扩展到多模态模型的比较。

最近的相关研究包括：1) 使用互信息或对比学习来定义模型相似性的研究；2) 针对大规模语言模型评估的轻量化方法，如'Lightweight Evaluation Metrics for Large Language Models'；3) 提出通过代理任务加速模型比较的工作，例如'Scaling Laws for Transfer in Language Models'。此外，'Efficient Model Comparison via Subset Selection' 和 'Active Learning for Model Space Exploration' 等工作也探索了类似的采样优化思路。