Optimizing Temperature for Language Models with Multi-Sample Inference

多样本聚合策略，例如多数投票和最佳N样本采样，在现代大型语言模型（LLMs）中被广泛用于提高各种任务的预测准确性。这一过程中的一个关键挑战是温度选择，它对模型性能有重大影响。现有的方法要么依赖于固定的默认温度，要么需要标注的验证数据进行调优，而这些数据往往稀缺且难以获得。本文解决了在不依赖于特定任务验证数据的情况下，自动识别不同LLMs的最佳（或接近最佳）温度的挑战。我们全面分析了温度在性能优化中的作用，考虑了模型架构、数据集、任务类型、模型规模和预测准确性的变化。此外，我们提出了一种基于熵的新指标，用于自动化温度优化，该指标始终优于固定温度基线。另外，我们引入了一个随机过程模型以增强可解释性，提供了关于温度与模型性能关系的更深入见解。

该论文试图解决在大规模语言模型（LLMs）中，如何自动选择（近）最优温度以优化多样本聚合策略下的预测准确性的问题。现有的方法要么依赖固定的默认温度，要么需要标注的验证数据进行调优，而这些验证数据往往稀缺且难以获得。因此，这是一个旨在改进现有温度选择方法的新问题。

论文提出了一种基于熵的度量方法来实现自动化温度优化，这种方法不需要依赖任务特定的验证数据。相比当前领域内的研究，这一思路通过引入熵作为评估标准，提供了一种无需额外标注数据即可优化温度设置的方法，从而提高了模型性能。

论文还引入了随机过程模型以增强可解释性，并提供了对温度与模型性能之间关系的深入理解。实验设计涵盖了不同架构、数据集、任务类型和模型大小的变化，证明了所提出的熵基度量方法的一致优越性。此外，该研究未提及是否开源代码或使用了哪些具体的数据集，但强调了未来可以在更多实际应用场景中进一步探索该方法的有效性和通用性。

最近在这个领域内的相关研究包括：1.《Temperature Calibration for Modern Neural Networks》探讨了神经网络中温度校准的重要性；2.《On the Temperature of Neural Machine Translation》研究了神经机器翻译中的温度影响；3.《Optimizing Ensemble Methods for Neural Language Models》讨论了针对神经语言模型的集成方法优化。