DEEP-ICL: Definition-Enriched Experts for Language Model In-Context Learning

长期以来，人们一直认为大型语言模型（LLMs）中的参数数量驱动了上下文学习（ICL）能力，通过利用任务特定的演示实现了显著的性能提升。挑战这一假设，我们介绍了DEEP-ICL，这是一种新颖的任务定义丰富的专家集成方法，用于ICL。DEEP-ICL明确从给定的演示中提取任务定义，并通过学习任务特定的示例生成响应。我们认为，ICL的改进不直接依赖于模型大小，而实质上源于理解任务定义和任务引导学习。受此启发，DEEP-ICL将具有不同角色的两个3B模型相结合（一个用于总结任务定义，另一个用于学习任务演示），并实现了与LLaMA2-13B相当的性能。此外，我们的框架通过克服预训练序列长度限制、支持无限演示而优于传统的ICL。我们认为，DEEP-ICL提供了一种新的替代方案，可以实现高效的少样本学习，超越传统的ICL。

论文试图通过 DEEP-ICL 方法解决大语言模型（LLM）中参数数量导致的 in-context learning (ICL) 能力提升是否仅仅取决于模型大小的问题，并探究通过理解任务定义和任务指导学习来实现高效 few-shot learning 的可能性。

DEEP-ICL 方法通过提取任务定义和学习任务特定的示例来实现高效 few-shot learning，不依赖于模型大小，而是依赖于理解任务定义和任务指导学习。

DEEP-ICL 方法通过结合两个 3B 模型来实现高效 few-shot learning，并克服了预训练序列长度限制，支持无限量的示例。论文提出的 DEEP-ICL 方法为实现高效 few-shot learning 提供了一种新的解决方案。

最近在这个领域中，还有一些相关的研究，如 LLaMA2-13B。