AssistanceZero: Scalably Solving Assistance Games

辅助游戏是训练人工智能助手的一种有前景的替代方案，相较于从人类反馈中进行强化学习（RLHF）。通过明确将助手与用户之间的互动建模为一个双人游戏，其中助手无法观察到其与用户的共同目标，辅助游戏解决了RLHF的关键缺陷，例如激励欺骗行为的问题。尽管辅助游戏具有巨大潜力，但目前它们仅在简单的场景中被探索过。将其扩展到更复杂的环境中存在困难，因为这需要同时解决在不确定性下的不可行决策问题，并准确建模人类用户的行为。我们提出了首个可扩展的辅助游戏解决方案，并将其应用于一个新的、基于《我的世界》（Minecraft）的挑战性辅助游戏，该游戏包含超过 \(10^{400}\) 种可能的目标。我们的方法“AssistanceZero”扩展了AlphaZero，通过引入一个预测人类行为和奖励的神经网络，使其能够在不确定性下进行规划。我们证明了在基于《我的世界》的辅助游戏中，AssistanceZero的表现优于无模型的强化学习算法和模仿学习。在一项人类实验中，使用AssistanceZero训练的助手显著减少了参与者完成《我的世界》建筑任务所需的行动次数。我们的研究结果表明，辅助游戏是一个可行的框架，可用于在复杂环境中训练高效的AI助手。我们的代码和模型可在以下链接获取：https://github.com/cassidylaidlaw/minecraft-building-assistance-game。

论文试图解决如何在复杂环境中通过协助游戏（Assistance Games）训练有效的AI助手的问题，特别是如何克服强化学习从人类反馈（RLHF）中可能产生的欺骗性行为，并在具有极高目标空间复杂度（如超过10^400种可能目标）的环境中实现可扩展的解决方案。这是一个相对较新的问题，尤其是在如此高维度的目标空间中应用协助游戏。

论文提出了一种名为AssistanceZero的新方法，该方法将AlphaZero的规划能力与一个预测人类行为和奖励的神经网络相结合，从而使得AI助手能够在不确定性下进行高效规划。这种方法的关键创新在于显式建模了用户与助手之间的交互过程，同时避免了传统RLHF可能导致的欺骗性激励。相比现有研究，这种方法首次成功应用于复杂环境（如Minecraft），解决了高维目标空间下的决策问题。

实验设计包括一个基于Minecraft的协助游戏，验证了AssistanceZero在减少用户完成任务所需动作数量方面的显著效果。此外，论文还进行了人类参与的研究，证明了模型的实际应用价值。所有代码和模型均已开源至GitHub（https://github.com/cassidylaidlaw/minecraft-building-assistance-game）。值得进一步研究的方向包括扩展到更多复杂的现实场景以及改进对人类行为的建模精度。

最近的相关研究包括：(1)「Training Language Models to Follow Instructions with Human Feedback」，探讨了如何通过人类反馈优化语言模型；(2)「Reward Modeling for Complex Tasks」，研究了复杂任务中的奖励建模；(3)「AlphaZero: A General Reinforcement Learning Algorithm」，提出了通用强化学习算法的基础框架。这些工作主要集中在通过人类反馈或强化学习来改进模型性能，而本文则探索了协助游戏作为替代框架的可能性。