https://crad.ict.ac.cn/CN/10.7544/issn1000-1239.20211264

摘要： 知识图谱是一种用图结构建模事物及事物间联系的数据表示形式，是实现认知智能的重要基础，得到了学术界和工业界的广泛关注.知识图谱的研究内容主要包括知识表示、知识抽取、知识融合、知识推理4部分. 目前，知识图谱的研究还存在一些挑战.例如，知识抽取面临标注数据获取困难而远程监督训练样本存在噪声问题，知识推理的可解释性和可信赖性有待进一步提升，知识表示方法依赖人工定义的规则或先验知识，知识融合方法未能充分建模实体之间的相互依赖关系等问题.由环境驱动的强化学习算法适用于贯序决策问题.通过将知识图谱的研究问题建模成路径(序列)问题，应用强化学习方法，可解决知识图谱中的存在的上述相关问题，具有重要应用价值. 首先梳理了知识图谱和强化学习的基础知识.其次，对基于强化学习的知识图谱相关研究进行全面综述.再次，介绍基于强化学习的知识图谱方法如何应用于智能推荐、对话系统、游戏攻略、生物医药、金融、安全等实际领域.最后，对知识图谱与强化学习相结合的未来发展方向进行展望.  

自谷歌在２０１２年推出“知识图谱”(knowledge graph,KG)后,知 识 图 谱 技 术 已 迅 速 成 为 数 据 挖 掘、数据库和人工智能等领域的研究热点．知识图谱 采用图 结 构 来 描 述 知 识 和 建 模 事 物 及 事 物 间 关 系[１]．它将信息表达成更接近人类认知的形式,提供 了一种组织、管理和认知理解海量信息的能力[２]．知 识图谱本质是一种大规模语义网络,既包含了丰富 的语义信息,又天然具有图的各种特征,其中,事物 或实体属性值表示为“节点”,事物之间的关系或属 性表示为“边”．目前,知识图谱相关的知识自动获 取、知 识 推 理、知 识 表 示、知 识 融 合已成为搜索问答、大数据分析[４]、智能推荐[６]和 数据集成[１１]的强大资产,被广泛应用于多个行业 领域． 

目前,大部分知识图谱的研究是基于监督学习 的方法．然而,为模型获得足够的标注数据成 本较高．为此部分学者提出使用远程监督的方法来 减少数据标注[１５],远程监督指的是借助外部知识库 为数据提供标签[１６]．但远程监督获得的训练样本中 存在噪声．此外,现有方法还存在依赖人工预定义的 规则和先验知识或模型缺乏可解释性等问题．强化 学习(reinforcementlearning,RL)适用于贯序决策 问题,通过学习如何与环境交互,进而辅助人类决 策．它在进行策略选择时更关注环境状态,对行为的 选择进行更好地理解和解释．将知识图谱研究的问 题建模成路径或序列相关的问题,例如,将基于远程 监督的命名实体识别中干净样本的选择建模成序列 标注任务、将关系推理建模成路径查找问题等,应用 强化学习算法可以避免依赖人工预定义的规则或先 验知识,解决模型缺乏可解释性或仅提供事后可解 释性(postＧhocexplanation)的问题,具有重要的研 究和应用价值． 

近年来,学术界和工业界对知识图谱、强化学习 ２个领域进行了深入研究,有不少分别聚焦知识图 谱和强化学习的综述性文章．文献分别围绕知识图谱的表示学习、知识获取、知 识推理、知识图谱构建与应用、多模态知识融合等进 行综述．文献分别对基于价值的和基于策略 的强化学习、深度强化学习算法、多智能体算法进行 综述．文献对强化学习在综合能源管理和金 融交易领域的研究进行阐述．然而,尽管已有诸多的 知识图谱、强化学习综述文献,但仍缺乏对知识图谱 和强化学习相结合的研究进行系统地梳理和总结的 工作．与现有的工作相比,本文工作的不同主要体现 在２个方面:１) 通过系统调研已发表的基于强化学 习的知识图谱相关研究的论文,全面总结了基于强 化学习的知识图谱研究,包括知识抽取、知识推理、 知识表示、知识融合等研究成果．２) 介绍了基于强化 学习的知识图谱如何应用于智能推荐、游戏攻略、生 物医药、金融、网络安全等实际领域．本文是第１篇 系统介绍该研究方向的综述论文．

 

基于强化学习的知识图谱研究

目前,大多数知识图谱的相关方法基于监督学 习,但对数据进行标注费时费力．为了解决标注困难 的问题,有学者提出了远程监督的方法．远程监督减 少了数据 标 注 成 本,但 又 在 训 练 数 据 中 引 入 了 噪 声[１５]．虽然,目前知识图谱的研究方法在准确率、精 度、召回率等性能上取得了很好的效果,但这些方法 结果的透明性、可解释性、可信赖性等还有待进一步 研究．强化学习方法不同于一般的监督学习, 它把相关问题建模为序列决策问题,近年来在知识 图谱领域得到应用,可以帮助解决远程监督的噪音 问题、知识推理结果可解释性差[１０５]等问题．本节将 分别从命名实体识别、关系抽取、知识推理、知识表 示、知识融合等５个方面,详细介绍强化学习方法在 各类研究中的进展,如图３所示:

内容中包含的图片若涉及版权问题，请及时与我们联系删除