Towards a Design Guideline for RPA Evaluation: A Survey of Large Language Model-Based Role-Playing Agents

角色扮演代理（RPA）是一种越来越受欢迎的大型语言模型代理，能够在各种任务中模拟类人的行为。然而，由于任务需求和代理设计的多样性，评估RPA具有挑战性。本文通过系统回顾2021年1月至2024年12月期间发表的1,676篇论文，提出了一种基于证据、可操作且具有一般性的LLM基础RPA评估设计指南。我们的分析从现有文献中确定了六个代理属性、七个任务属性和七个评估指标。基于这些发现，我们提出了一个RPA评估设计指南，以帮助研究人员开发更加系统和一致的评估方法。

论文试图解决Role-Playing Agent (RPA)评估的挑战性问题，即如何在多样化的任务需求和代理设计背景下，对模拟人类行为的LLM代理进行有效评估。这是一个相对较新的问题，随着RPAs在各种应用场景中的普及而变得越来越重要。

关键思路在于通过系统地回顾2021年至2024年间发表的1,676篇相关文献，识别出六个代理属性、七个任务属性和七个评价指标，从而提出一个基于证据、可操作且通用的RPA评估指南。相比现有研究，该论文提供了一个更为系统化和一致性的评估框架。

论文值得关注的地方包括： 1. 系统性回顾了大量文献，确保了分析的全面性和权威性。 2. 提出了具体的代理和任务属性分类，有助于构建更精确的评估模型。 3. 强调了评价指标的重要性，并提供了具体的建议。 4. 虽未提及具体实验设计或数据集使用情况，但提出了未来研究的方向，如开发标准化测试环境和公开评估工具。

最近在这个领域中，相关的研究还包括： 1. 'Evaluating the Effectiveness of Language Models in Role-Playing Agents' 2. 'A Framework for Assessing Social Skills in AI Role-Playing Agents' 3. 'Human-Like Behavior Simulation: Challenges and Opportunities' 4. 'Towards a Standardized Evaluation Metric for Interactive AI Agents' 这些研究共同推动了RPA评估方法的发展。