REVEAL-IT: REinforcement learning with Visibility of Evolving Agent poLicy for InTerpretability

agent's performance. 理解代理人的学习过程，特别是在训练后对其成功或失败的贡献因素进行分析，对于理解代理人决策过程的基本原理至关重要。以前的方法通过创建结构因果模型（SCM）或直观地表示价值函数的分布来澄清学习过程。然而，这些方法有一些限制，因为它们仅在二维环境或具有简单转换动态的情况下起作用。在复杂的环境或任务中理解代理人的学习过程更具挑战性。在本文中，我们提出了REVEAL-IT，一种新的框架，用于解释代理人在复杂环境中的学习过程。首先，我们可视化各种训练任务的策略结构和代理人的学习过程。通过可视化这些发现，我们可以了解特定训练任务或阶段对测试中代理人表现的影响程度。然后，基于GNN的解释器学习突出显示策略的最重要部分，提供更清晰和更强大的代理人学习过程解释。实验表明，从该框架中得出的解释可以有效地帮助优化代理人的表现。

解释一个复杂环境中智能体的学习过程是一个挑战，如何解释智能体决策背后的因素对于理解其决策过程至关重要。本论文提出了一个新的框架 REVEAL-IT，用于解释智能体在复杂环境中的学习过程。

REVEAL-IT 框架首先可视化了智能体在各种训练任务中的策略结构和学习过程，然后使用基于 GNN 的解释器来突出显示策略的最重要部分，从而提供更清晰、更可靠的智能体学习过程的解释。

本文的亮点包括：提出了一个新的框架 REVEAL-IT，用于解释智能体在复杂环境中的学习过程；使用可视化技术来理解智能体在训练任务中的表现；使用基于 GNN 的解释器来突出策略的关键部分；实验证明该框架可以有效地帮助优化智能体的性能。

最近在这个领域中，还有一些相关的研究被进行，如：《Interpretable Reinforcement Learning Through Policy Extraction》、《Learning to Explain: An Information-Theoretic Perspective on Model Interpretation》等。