Chain of Agents: Large Language Models Collaborating on Long-Context Tasks

处理长文本的有效方法已成为大型语言模型（LLMs）面临的关键问题。出现了两种常见策略：1）减少输入长度，例如通过检索来检索相关块，2）扩展LLMs的上下文窗口限制。然而，这两种策略都有缺点：输入缩减不能保证覆盖所需信息的部分，而窗口扩展则难以聚焦于解决任务所需的相关信息。为了缓解这些限制，我们提出了Chain-of-Agents（CoA），这是一个新颖的框架，通过自然语言驱动多个代理协作，实现对各种LLMs进行信息聚合和上下文推理，以应对长文本任务。CoA由多个工作代理组成，它们依次通信处理文本的不同分段，然后由一个管理代理将这些贡献综合成一个连贯的最终输出。CoA通过交替阅读和推理来处理整个输入，并通过为每个代理分配一个短上下文来缓解长上下文聚焦问题。我们在问答、摘要和代码完成等广泛的长上下文任务上对CoA进行了全面评估，证明了其相对于RAG、Full-Context和多代理LLMs等强基线的显著改进，最高可达10%。

论文旨在解决长文本上下文处理的问题，提出了一种多智能体协作的框架，以解决当前策略的缺陷。

Chain-of-Agents（CoA）框架通过多智能体协作，将长文本分段处理，并通过自然语言交流进行信息汇总和上下文推理，从而提高长文本任务的性能。

论文在问答、摘要和代码完成等任务中进行了全面评估，证明了CoA相比于RAG、Full-Context和多智能体LLMs等强基线模型可以显著提高长文本任务的性能。论文还介绍了CoA的实现细节和开源代码。

在相关研究方面，RAG和多智能体LLMs是当前解决长文本任务的主要策略。