BALROG: Benchmarking Agentic LLM and VLM Reasoning On Games

大型语言模型（LLMs）和视觉语言模型（VLMs）拥有广泛的知识，并展现出有前景的推理能力；然而，它们在复杂、动态的环境中仍然表现不佳。现实世界中的任务需要处理复杂的交互、高级的空间推理、长期规划以及不断探索新的策略——这些领域中，我们缺乏有效的全面评估这些能力的方法。为了解决这一差距，我们引入了BALROG，这是一个新颖的基准测试，旨在通过一系列具有挑战性的游戏来评估LLMs和VLMs的代理能力。我们的基准测试结合了各种现有的强化学习环境，难度各不相同，包括非专家人类可以在几秒钟内解决的任务到可能需要数年才能掌握的极其困难的任务（例如NetHack学习环境）。我们设计了详细的指标来衡量性能，并对几种流行的开源和闭源LLMs和VLMs进行了广泛的评估。研究结果表明，虽然当前模型在较简单的游戏中取得了部分成功，但在更具挑战性的任务上表现显著不足。值得注意的是，我们在基于视觉的决策方面观察到了严重的缺陷，因为当提供环境的视觉表示时，模型的表现更差。我们发布了BALROG作为一个开放且用户友好的基准测试，以促进代理社区未来的研发工作。

论文试图解决大型语言模型（LLMs）和视觉语言模型（VLMs）在复杂动态环境中的表现不佳的问题。这是一个重要的问题，因为现实世界的任务通常需要处理复杂的交互、高级的空间推理、长期规划和持续探索新的策略，而这些能力目前的模型还难以有效实现。

论文的关键思路是引入一个名为BALROG的新基准测试，通过一系列具有挑战性的游戏来评估LLMs和VLMs的代理能力。这一基准测试涵盖了从简单到极其复杂的任务，旨在全面评估模型在不同难度环境下的表现。与现有研究相比，BALROG不仅提供了多样化的任务，还设计了细粒度的性能指标，从而更准确地衡量模型的能力。

论文设计了详细的实验，使用了多种现有的强化学习环境，并对多个流行的开源和闭源LLMs和VLMs进行了广泛的评估。实验结果表明，虽然当前模型在较简单的游戏中表现出一定的成功，但在更复杂的任务中仍然存在显著困难，特别是在基于视觉的决策方面。此外，BALROG作为一个开放且用户友好的基准测试平台，为未来的研究和发展提供了宝贵的工具。论文还开源了BALROG，鼓励社区进一步探索和改进。

近年来，关于评估和改进LLMs和VLMs在复杂任务中的表现的研究越来越多。相关的工作包括：1)《Emergent Tool Use From Multi-Agent Autocurricula》探讨了多智能体环境中工具使用的涌现现象；2)《Learning to Navigate in Cities Without a Map》研究了如何在没有地图的情况下进行城市导航；3)《The NetHack Learning Environment》介绍了NetHack环境，用于评估模型在复杂游戏中的表现；4)《Procedural Level Generation via GANs for General Game Playing》利用生成对抗网络（GANs）生成游戏关卡，以提高模型的泛化能力。