Synergistic Multi-Agent Framework with Trajectory Learning for Knowledge-Intensive Tasks

最近大型语言模型（LLMs）的进展在各种自然语言处理任务中取得了重大突破。然而，在知识密集场景下生成事实一致的回复仍然是一个挑战，原因包括幻觉、获取长尾知识的困难以及有限的记忆扩展等问题。本文介绍了SMART，这是一个新颖的多智能体框架，利用外部知识来增强LLM生成的回复的可解释性和事实一致性。SMART包括四个专门的智能体，每个智能体执行特定的子轨迹动作来导航复杂的知识密集任务。我们提出了一种多智能体共同训练范式，即长轨迹和短轨迹学习，它确保智能体之间的协同合作，同时保持每个智能体的精细执行。在5个任务上进行的大量实验表明，SMART相比先前广泛采用的方法具有更优异的性能。

如何提高LLM生成的回复的可解释性和事实一致性？

SMART框架，包括四个特定的代理人，利用外部知识来增强LLM生成的回复的可解释性和事实一致性。提出了一种多代理人协同训练模式，长短轨迹学习，以确保代理人之间的协同作用，同时保持每个代理人的精细执行。

SMART框架在5个任务上的实验表明其优于先前广泛采用的方法。

与该论文相关的其他研究包括：1. GPT-3；2. T5；3. BERT。