Knowledge Graph Reasoning with Self-supervised Reinforcement Learning

强化学习（RL）是一种在不完整知识图谱（KGs）中寻找推理路径的有效方法。为了克服大动作空间的挑战，提出了一种自监督预训练方法，在RL训练阶段之前对策略网络进行热身。为了缓解一般自监督RL（SSRL）中的分布不匹配问题，在我们的监督学习（SL）阶段，代理根据策略网络选择动作并从生成的标签中学习；这种标签的自动生成是自监督名称背后的直觉。通过这个训练框架，我们的SL目标的信息密度得到提高，代理被防止陷入早期奖励路径。我们的自监督RL（SSRL）方法通过与预训练期间SL实现的广泛覆盖配对，提高了RL的性能，因为SL目标的广度使得仅使用SL训练代理不可行。我们展示了我们的SSRL模型在四个大型基准KG数据集上的所有Hits@k和平均倒数排名（MRR）指标均达到或超过当前最先进的结果。这个SSRL方法可以作为任何RL架构的KGR任务的插件。我们采用两个RL架构，即MINERVA和MultiHopKG作为我们的基准RL模型，并实验性地展示我们的SSRL模型在所有这些四个KG推理任务上一致优于两个基准模型。本文的完整代码可在https://github.com/owenonline/Knowledge-Graph-Reasoning-with-Self-supervised-Reinforcement-Learning上找到。

本文旨在解决在不完整知识图谱中寻找推理路径的问题，并提出了自监督预训练方法来解决大动作空间的挑战。

本文的关键思路是采用自监督学习（SL）和强化学习（RL）相结合的方法，通过预训练提高智能体的信息密度和广度，并在强化学习训练中避免陷入早期奖励路径。

本文提出的自监督强化学习（SSRL）方法在四个基准知识图谱数据集上均达到或超过当前最先进结果，并且可以作为任何知识图谱推理任务的插件。实验中使用了MINERVA和MultiHopKG两种强化学习模型作为基线，并表明SSRL模型在所有四个知识图谱推理任务上均优于基线。

近期相关研究包括《Representation Learning on Graphs: Methods and Applications》、《Graph Convolutional Networks》等。