A Survey of Context Engineering for Large Language Models

大语言模型（LLMs）的性能从根本上取决于推理过程中所提供的上下文信息。本文提出了“上下文工程”（Context Engineering）这一正式的研究领域，它超越了简单的提示设计，涵盖了针对LLMs的信息内容系统优化。我们提出了一个全面的分类体系，将上下文工程分解为基础组成部分，以及将这些部分整合进智能系统中的高级实现方式。我们首先探讨了基础组成部分：上下文检索与生成、上下文处理和上下文管理。随后，我们研究了这些组件如何在架构层面进行整合，以构建复杂的系统实现：检索增强生成（RAG）、记忆系统与工具集成推理，以及多智能体系统。通过对超过1400篇研究论文的系统分析，本综述不仅为该领域建立了技术发展路线图，还揭示了一个关键的研究空白：模型能力之间存在根本性的不对称。尽管当前模型通过先进的上下文工程增强了理解复杂上下文的能力，表现出显著的熟练度，但在生成同样复杂、长篇的输出方面仍存在明显局限。弥补这一差距是未来研究的关键优先事项。最终，本综述为推动上下文感知人工智能的研究人员和工程师提供了一个统一的框架。

论文试图解决大语言模型（LLMs）在生成复杂、长文本输出方面的能力不足问题。尽管当前模型在先进上下文工程的支持下能够很好地理解和处理复杂上下文，但在生成同样复杂和高质量的长文本输出方面仍存在显著不足。这个问题尚未被系统性地提出和解决，因此是一个新兴的研究问题。

提出了一种新的系统性方法——上下文工程（Context Engineering），超越传统的提示设计，涵盖对LLMs信息输入的全面优化。该方法将上下文处理分解为基础模块（如上下文检索与生成、处理与管理），并探讨如何通过架构设计将这些模块整合为复杂的智能系统（如RAG、记忆系统、多代理系统等）。其新意在于提供了一个统一框架，将LLM的上下文优化提升为系统工程问题。

1. 对超过1400篇研究论文进行了系统分析，建立了上下文工程的技术路线图。 2. 提出了上下文工程的基础模块和系统架构的分类体系。 3. 揭示了模型能力的不对称性问题：理解上下文强，但生成高质量长文本弱。 4. 强调未来研究应聚焦于提升模型生成能力，并提出可能的解决方案方向。 5. 为研究人员和工程师提供了一个统一的框架，推动上下文感知AI的发展。

1. Retrieval-Augmented Generation (RAG) for Knowledge-Intensive NLP Tasks 2. Language Models as Knowledge Bases? by Petroni et al. 3. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 4. Memory-Augmented Language Models: A Survey 5. Agent-Based Architectures for Large Language Models: A Review