clembench-2024: A Challenging, Dynamic, Complementary, Multilingual Benchmark and Underlying Flexible Framework for LLMs as Multi-Action Agents

最近的研究表明，大型语言模型（LLMs）可以被提示进行“自我对话”式的游戏，以探索某些能力（如一般指令遵循、战略目标导向、语言理解能力），而由此产生的互动游戏可以自动评分。在本文中，我们采用了其中一个提出的框架来建立这样的游戏环境，并进一步测试其作为评估工具的有用性，涉及多个方面：我们展示它可以轻松跟上新的发展趋势，同时避免数据污染；我们展示其中实施的测试还没有达到饱和（即人类表现明显优于最好的模型）；我们展示它还可以用于探究其他问题，如提示语言对性能的影响。我们认为这种方法为决策建立应用交互式系统的模型选择提供了良好的基础，或许最终可以建立一个系统和模拟评估器的闭环开发环境。

论文旨在测试一种基于自我对话的游戏环境框架，以评估大型语言模型在语言理解、指令遵循和策略目标导向等方面的能力。同时，探究不同提示语言对性能的影响。

通过自我对话的游戏环境框架，评估大型语言模型在不同领域的表现，从而为构建应用交互式系统提供模型选择依据。

论文表明该框架可以跟上新发展，同时避免数据污染。实验结果表明，即使是最好的模型的表现也远低于人类表现水平，该框架还可以探究提示语言对性能的影响。论文提供了数据集和开源代码。

最近的相关研究包括：《GPT-3》、《Measuring Massive Multitask Language Understanding》、《SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems》等。