【标题】A Framework for Understanding and Visualizing Strategies of RL Agents

【作者团队】Pedro Sequeira, Daniel Elenius, Jesse Hostetler, Melinda Gervasio

【发表日期】2022.8.17

【论文链接】https://arxiv.org/pdf/2208.08552.pdf

【推荐理由】近年来，可解释AI取得了重大进展，理解深度学习模型的需求变得越来越重要。顺序决策任务的可理解模型作为特殊挑战，其不仅需要理解单个预测，还需要理解与动态环境相互作用的一系列预测。本文提出了学习顺序决策任务的可理解模型的框架，其中agent策略使用时序逻辑公式来表征。首先使用捕获频繁动作模式的新嵌入方法对跟踪进行聚类。再通过搜索解释不同集群中智能体策略的逻辑公式，以评估星际争霸II（SC2）中战斗场景的框架。为SC2环境实现特征提取器，它将轨迹提取为描述环境状态和智能体重放中智能体本地行为的高级特征序列。最后设计了可视化工具，描述了环境中单元的移动，有助于理解不同的任务条件如何导致每个跟踪集群中不同的智能体行为模式。实验结果表明，该框架能够将智能体跟踪分成不同的行为组，该策略推理方法可以产生一致、有意义且易于理解的策略描述。

内容中包含的图片若涉及版权问题，请及时与我们联系删除