PEER: Expertizing Domain-Specific Tasks with a Multi-Agent Framework and Tuning Methods

在特定领域的应用中，加入精确提示或检索增强生成（RAG）的GPT-4显示出显著的潜力，但面临着性能、成本和数据隐私的关键三难问题。高性能需要复杂的处理技术，然而在复杂的工作流中管理多个代理通常是昂贵和具有挑战性的。为了解决这个问题，我们引入了PEER（计划、执行、表达、审查）多代理框架。该框架通过整合精确的问题分解、先进的信息检索、全面的摘要和严格的自我评估，系统化地处理特定领域的任务。考虑到成本和数据隐私的问题，企业正在从像GPT-4这样的专有模型转向定制模型，以在成本、安全和性能之间取得平衡。我们开发了利用在线数据和用户反馈进行高效模型调整的工业实践。本研究提供了应用多代理系统解决特定领域问题和实施有效代理调整策略的最佳实践指南。我们的经验研究，特别是在金融问答领域，证明了我们的方法可以实现GPT-4性能的95.0%，同时有效管理成本并确保数据隐私。

本论文试图解决在领域特定应用中使用GPT-4或RAG面临的性能、成本和数据隐私的三难问题。

本文提出了基于多智能体框架PEER的解决方案，通过整合精确的问题分解、先进的信息检索、全面的摘要和严格的自我评估来系统化领域特定任务。此外，还开发了利用在线数据和用户反馈进行高效模型调整的工业实践。

本文在金融问答领域进行了实证研究，表明其方法可以在保证成本和数据隐私的前提下实现95.0%的GPT-4性能。此外，本文提供了应用多智能体系统解决领域特定问题和实现有效智能体调整策略的最佳实践指南。

近期在这个领域中，还有一些相关的研究被进行，如《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》和《GPT-4: A New Approach to Language Processing》等。