Explainable Reinforcement Learning Agents Using World Models

可解释人工智能（XAI）系统被提出以帮助人们理解人工智能系统如何生成输出和行为。由于顺序决策的时序特性，可解释强化学习（XRL）具有额外的复杂性。此外，非人工智能专家不一定有能力更改智能体或其策略。我们引入了一种使用世界模型（World Models）为基于模型的深度强化学习智能体生成解释的技术。世界模型可以预测在执行动作时环境将如何变化，从而生成反事实轨迹。然而，仅仅识别用户希望智能体做什么，并不足以理解为什么智能体做了其他事情。我们通过添加逆向世界模型（Reverse World Model）来增强基于模型的强化学习智能体，该模型可以预测为了让智能体偏好某个给定的反事实动作，世界的状态本应是什么样的。我们证明，向用户展示世界的“应该是什么样”的解释显著提高了他们对智能体策略的理解。我们推测，我们的解释可以帮助用户学习如何通过操控环境来控制智能体的执行。

论文试图解决强化学习中代理行为的可解释性问题，特别是通过生成反事实轨迹来帮助非AI专家理解为什么代理选择特定行为而非其他行为。这是一个重要但尚未完全解决的问题，尤其是在模型基于深度RL的情况下。

论文提出了一种结合世界模型（World Models）和反向世界模型（Reverse World Models）的方法。世界模型用于预测环境在不同动作下的变化，而反向世界模型则预测为了执行某个反事实动作，环境状态应是什么样的。这种方法不仅能够解释代理为何未采取某些动作，还提供了关于如何调整环境以促使代理采取期望动作的见解，这在当前XAI领域具有创新性。

1. 提出了反向世界模型的概念，为理解代理行为提供新的视角；2. 实验设计展示了用户对代理策略的理解显著提高；3. 使用了多种环境进行测试，验证了方法的通用性；4. 论文没有提到代码是否开源，但其方法论值得进一步研究和应用到实际场景中；5. 值得深入研究的方向包括：如何优化反向世界模型的效率以及如何将其扩展到更复杂的多智能体系统。

最近的相关研究包括：1. "Explainable Reinforcement Learning through a Causal Lens"，探讨因果关系在RL解释中的作用；2. "Interpretable Deep Policy Decisions with Convolutional Neural Networks"，专注于CNN策略的可解释性；3. "Counterfactual Explanations in Sequential Decision Making Under Uncertainty"，讨论不确定性条件下的反事实解释；4. "Model-Based Reinforcement Learning for Autonomous Driving"，将模型基础的RL应用于自动驾驶场景。这些研究共同推动了XRL的发展，但本论文的独特之处在于引入了反向世界模型以增强解释能力。