Brewing Knowledge in Context: Distillation Perspectives on In-Context Learning

上下文学习（ICL）使大规模语言模型（LLMs）能够在不更新权重的情况下解决新任务。尽管其在实践中取得了成功，但 ICL 的内在机制仍然知之甚少，这限制了我们对其解释、改进和可靠应用的能力。在本文中，我们提出了一种新的理论视角，将 ICL 解释为一种隐式的知识蒸馏（KD），其中提示示例引导模型在推理过程中形成一个特定任务的参考模型。基于这一观点，我们推导出一个基于拉德马赫复杂度的泛化界，并证明蒸馏权重的偏差会随着提示分布与目标分布之间的最大均值差异（MMD）线性增长。这一理论框架解释了多个经验现象，并统一了先前基于梯度和分布的分析方法。据我们所知，这是首次将推理时的注意力形式化为一种蒸馏过程，为未来的提示工程和自动化示例选择提供了理论洞见。

论文试图解释大型语言模型（LLMs）在无需权重更新的情况下通过示例完成新任务（即In-Context Learning, ICL）的机制。这是一个尚未被充分理解的问题，限制了ICL的实际应用和改进。

论文提出将ICL视为一种隐式的知识蒸馏（Knowledge Distillation, KD）过程，其中提示中的示例引导模型在推理过程中形成一个特定任务的参考模型。此外，论文通过Rademacher复杂度推导出泛化边界，并证明蒸馏权重的偏差与提示分布和目标分布之间的最大均值差异（MMD）线性相关。这是首次将推理时注意力机制形式化为蒸馏过程。

论文通过理论分析解释了多个ICL中的经验现象，并统一了先前基于梯度和分布的分析方法。实验设计可能涉及对不同提示分布和目标任务分布的影响评估。虽然摘要未提及具体数据集或代码开源情况，但未来可以关注作者是否提供了这些资源。值得进一步研究的方向包括更高效的提示工程方法以及自动化选择最佳示范的方法。

近期相关研究包括：1) 探讨ICL中记忆检索与上下文学习之间关系的工作；2) 分析LLMs内部机制以理解其生成行为的研究；3) 提出优化提示策略或减少提示样本需求的方法。例如，《Understanding In-context Learning by Prompt Tuning》和《Gradient-based Explanations for In-context Learning in Large Language Models》等论文探讨了类似主题的不同方面。