Quantifying the Gain in Weak-to-Strong Generalization

最近大型语言模型的进展表明它们具有非凡和接近超人的能力。这些模型的复杂性使得人类可靠地评估和对齐它们变得具有挑战性。这引出了一个自然的问题：弱模型（如人类）的指导能否充分地引导强模型的能力？在最近的一项令人惊讶的研究中，Burns等人（2023）通过实证研究表明，当强模型（如GPT-4）使用由弱监督者（如GPT-2）生成的标签进行微调时，强模型胜过其较弱的对手——他们称之为弱到强的泛化现象。 在这项工作中，我们提出了一个理论框架来理解弱到强的泛化。具体而言，我们展示了强模型在弱模型生成的标签上产生的误差量化了它们相对较弱的对手的性能提高。我们的理论揭示了一些有趣的算法见解。例如，我们可以预测强模型将比弱模型提高多少，并根据其误差选择不同的弱模型来训练强模型。我们通过各种实证评估验证了我们的理论发现。

研究强模型能否通过弱监督模型的标签进行微调，从而超越弱模型的性能，探讨这种现象的理论框架。

强模型通过弱监督模型生成的标签进行微调，能够在性能上超越弱模型，这种提升可以通过强模型在弱模型标签上的误差来量化。

论文提出了理论框架，可以预测强模型在弱模型标签上的提升程度，并根据误差选择不同的弱模型进行训练。实验结果验证了理论发现，可以对自然语言处理领域的研究提供新思路。

最近的相关研究包括《GPT-4: Generative Pre-training Transformer 4》和《GPT-2: Language Models are Few-Shot Learners》。