Automatic Bug Detection in LLM-Powered Text-Based Games Using LLMs

大型语言模型（LLMs）的进步正在改变交互式游戏设计，使玩家和非玩家角色（NPC）之间的情节和互动变得更加动态。然而，LLMs可能存在缺陷，如幻觉、遗忘或对提示的错误解释，导致逻辑不一致和意外偏离预期设计。目前自动检测此类游戏漏洞的技术仍然缺乏。为了解决这个问题，我们提出了一种基于系统化LLM的方法，通过玩家游戏日志自动识别此类漏洞，消除了收集额外数据（如后期调查）的需求。应用于文本游戏DejaBoom！，我们的方法有效地识别了LLM驱动的交互式游戏中固有的漏洞，超越了非结构化LLM驱动的漏洞捕捉方法，并填补了逻辑和设计漏洞自动检测的空白。

本论文旨在解决使用大型语言模型（LLMs）设计交互式游戏时出现的漏洞和错误，提出了一种系统性的LLM方法，通过玩家游戏日志自动识别这些问题。

论文提出了一种基于LLM的自动化方法，通过分析玩家游戏日志来识别游戏中的漏洞和错误，从而消除了收集额外数据的需要。

论文的实验部分使用了一个名为DejaBoom!的文本游戏进行验证，并证明了这种方法的有效性。相比于未结构化的LLM漏洞检测方法，这种方法能够更好地识别LLM驱动的交互式游戏中的漏洞和错误。

在相关研究方面，最近的研究包括使用LLM进行游戏生成和自动化游戏测试的研究，例如“Game Generation with Generative Pre-trained Transformers”和“Automated Testing of Text-based Games with Reinforcement Learning”。