Towards a Design Guideline for RPA Evaluation: A Survey of Large Language Model-Based Role-Playing Agents

角色扮演代理（RPA）是一种日益流行的大型语言模型代理，能够在各种任务中模拟类人的行为。然而，由于任务需求和代理设计的多样性，对RPA的评估具有挑战性。本文通过系统回顾2021年1月至2024年12月期间发表的1,676篇论文，提出了一个基于证据、可操作且具有普适性的大型语言模型基础RPA评估设计指南。我们的分析从现有文献中识别出了六种代理属性、七种任务属性以及七种评估指标。基于这些发现，我们提出了一套RPA评估设计指南，以帮助研究人员开发更加系统和一致的评估方法。

该论文试图解决如何系统地评估基于大型语言模型（LLM）的角色扮演代理（RPA）的问题。这是一个相对较新的问题，因为随着RPA技术的快速发展，对其评估方法的需求也在增加。

论文的关键思路是通过系统性回顾2021年至2024年间发表的1,676篇相关文献，识别出六种代理属性、七种任务属性和七种评价指标，并基于这些发现提出了一套通用且可操作的RPA评价设计指南。相比现有研究，这种方法更注重证据支持和一致性，有助于推动RPA评估方法的标准化。

论文通过大规模文献分析总结了RPA的核心属性和评价维度，为未来研究提供了清晰的方向。实验设计包括对大量文献的分类与归纳，数据来源广泛且具有代表性。虽然未提及具体数据集或开源代码，但其提出的评价框架值得进一步验证和优化。此外，该框架可以扩展到其他类型的AI代理评估中，具有较高的应用潜力。

最近的相关研究包括《Evaluating Conversational Agents in Multi-Context Scenarios》、《Benchmarking Role-Playing Agents for Interactive Storytelling》以及《A Survey on Large Language Models for Agent Design》。这些研究主要集中在对话系统、交互式叙事和LLM驱动代理的设计上，但较少关注统一的评估标准。本论文填补了这一空白，提出了更全面的评价体系。