A Survey of Context Engineering for Large Language Models

大语言模型（LLMs）的性能从根本上取决于推理过程中所提供的上下文信息。本文提出了“上下文工程”（Context Engineering）这一正式的研究领域，它超越了简单的提示设计，旨在对提供给大语言模型的信息内容进行系统性优化。我们提出了一个全面的分类体系，将上下文工程分解为其基础组成部分，以及将这些部分整合进智能系统中的高级实现方式。我们首先探讨了基础组成部分：上下文的检索与生成、上下文处理以及上下文管理。随后，我们研究了这些组件如何在架构层面进行整合，从而构建出复杂的系统实现，包括：检索增强生成（RAG）、记忆系统与工具集成推理、以及多智能体系统。通过对超过1300篇研究论文的系统分析，我们的综述不仅为该领域建立了技术发展路线图，还揭示了一个关键的研究空白：模型能力之间存在根本性的不对称。尽管当前模型在先进上下文工程的辅助下，已展现出对复杂上下文的强大理解能力，但它们在生成同样复杂且长篇的输出方面仍存在明显局限。弥补这一差距是未来研究的关键优先事项。最终，本综述为推动上下文感知人工智能的研究人员和工程师提供了一个统一的框架。

论文试图解决如何系统性地优化大语言模型（LLMs）的上下文信息使用问题，以超越简单的提示工程。当前的研究在模型理解复杂上下文方面取得了进展，但在生成同样复杂的长文本输出方面仍存在显著不足。这是一个较新的研究问题，因为随着LLMs规模的扩大，如何有效利用上下文成为提升性能的关键瓶颈。

论文提出了“上下文工程”（Context Engineering）这一正式的研究方向，将上下文的获取、生成、处理和管理作为系统化优化的对象。相比当前研究主要聚焦于提示工程或特定任务的上下文增强，该文首次从系统架构层面提出了一个完整的分类体系，并整合了多种高级实现方式（如RAG、记忆系统、工具集成推理、多智能体系统），为上下文优化提供了统一框架。

1. 对超过1300篇研究论文进行了系统性分析，构建了一个全面的上下文工程分类体系。 2. 提出了上下文工程的四个基础模块：上下文检索与生成、上下文处理、上下文管理。 3. 总结了上下文工程的四大系统实现：RAG、记忆系统、工具集成推理、多智能体系统。 4. 指出了当前LLMs在上下文理解和上下文生成之间的能力不对称问题，提出这是未来研究的关键方向。 5. 为研究人员和工程实践者提供了清晰的技术路线图和未来发展方向。

1. 「Language Models as Knowledge Bases?」(Petroni et al., 2019) 2. 「Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks」(Lewis et al., 2020) 3. 「REALM: Retrieval-Augmented Language Model Pre-Training」(Gupta et al., 2021) 4. 「Dense Passage Retrieval for Open-Domain Question Answering」(Karpukhin et al., 2020) 5. 「Chain-of-Thought Prompting Elicits Reasoning in Large Language Models」(Wei et al., 2022) 6. 「Self-Consistency Improves Chain of Thought Reasoning in Language Models」(Wang et al., 2022) 7. 「Generative Agents: Interactive Simulated Characters withLLM-Driven Minds」(Park et al., 2023) 8. 「Memory-Augmented Language Modeling for Task-Oriented Dialogue」(Zhao et al., 2020)