EXPIL: Explanatory Predicate Invention for Learning in Games

强化学习已被证明是训练在各种游戏中表现优异的智能体的强有力工具。然而，神经网络模型的黑匣子特性常常阻碍我们理解智能体行动背后的推理过程。最近的研究试图通过使用预训练神经智能体的指导来编码基于逻辑的策略，从而实现可解释的决策。这种方法的缺点是需要大量的预定义背景知识，以谓词的形式存在，限制了其适用性和可扩展性。在这项工作中，我们提出了一种新颖的方法，即游戏中解释性谓词发明（EXPIL），该方法从预训练的神经智能体中识别和提取谓词，后者用于基于逻辑的智能体中，降低了对预定义背景知识的依赖性。我们在各种游戏中进行的实验评估表明，EXPIL在实现逻辑智能体的可解释行为方面是有效的，同时需要较少的背景知识。

论文旨在解决强化学习中神经网络模型黑盒性质的问题，提出一种新的方法(EXPIL)来减少预定义背景知识的依赖性，从预训练的神经网络代理中提取谓词，用于逻辑代理中实现可解释性。

论文的关键思路是通过从预训练的神经网络代理中提取谓词来实现逻辑代理的可解释性，从而减少对预定义背景知识的依赖性。

论文通过实验评估展示了EXPIL在各种游戏中实现了可解释性行为的有效性，同时减少了对预定义背景知识的依赖性。论文还提供了开源代码和数据集，这些工作有助于进一步研究。

最近的相关研究包括：'Interpretable Reinforcement Learning Using Action-Related Feature Attribution Feedback'和'Multi-Relational Embeddings via Tensor Decomposition with Applications to Multi-Relational Classification and Transfer Learning'。