博士论文 | Porto 2024 | 图强化学习用于改善智能电网服务 134页

图强化学习 (Graph Reinforcement Learning，GRL) 是近年来学术界关注的课题。通过启用强化学习技术来学习和优化基于图的环境中顺序决策过程，可以改进系统并获得在面向网络的应用领域中利用图拓扑特征的能力。随着 2010 年代后期图神经网络在学习如何从给定场景中提取有效图表示方面的进步，提出了更复杂的 GRL 方法，该主题开始引起学者们的好奇心。尽管近年来，该领域已经做了很多工作，但这些技术的研究仍被认为处于早期阶段。

此外，考虑到当前与可持续性和能源系统相关的全球挑战，越来越需要在以能源为中心的智能系统方面取得进展，以实现当前电网的现代化。目前，可再生能源在减少对化石燃料的依赖方面发挥着重要作用，随着消费者获得产生可再生能源的能力，这改变了能源分配系统的拓扑结构。随着人工智能和机器学习的进步，系统可以适应能源生产的分散化，并有效地管理能源系统的监控、分配和传输。在这项工作中，主要重点是改进 GRL 算法，该算法将用于解决动态经济电力调度问题，这是其主要应用领域，考虑到可再生能源和能源存储系统。

通过这种方式，本论文旨在通过以下方式推进现有的图强化学习技术研究：（1）对最近关于各种提出的 GRL 方法和动态经济调度系统的文献进行全面回顾，以全面了解最近最先进的技术及其局限性；（2）实施和校准两种最突出的方法，从而产生 GCN-SAC 和 GAT-SAC 模型（3）对两种提出的 GRL 方法与动态经济电力调度问题的 SAC 算法进行比较和系统的实证研究。

结果最终有利于最先进的 SAC 算法而不是提出的实现。所提出的模型的特征提取能力未能克服 SAC 的样本效率和稳定性，前者模型在两种情况下都取得了更好的表现。然而，GRL 方法，尤其是 GCN-SAC，在更大的场景中表现出了良好的结果，并表现出对更复杂环境的良好可扩展性。

论文题目：Graph Reinforcement Learning for Improving Smart Grid Services

作者：António Oliveira

类型：2024年博士论文

学校：Universidade do Porto（葡萄牙波尔图大学）

下载链接：

链接: https://pan.baidu.com/s/1o9aknMv9k1mWJjPsyr0N6w?pwd=7rq8

硕博论文汇总：

链接: https://pan.baidu.com/s/1Gv3R58pgUfHPu4PYFhCSJw?pwd=svp5

在本介绍章节中，介绍了本论文的背景和动机，以及其主要目标。在第 1.1 节中，我们将这项工作置于其执行的相关背景和条件中。在揭示主要背景之后，在第 1.2 节中揭示了主要动机，随后在第 1.3 节中分别揭示了该项目的目标。最后，第 1.4 节简要介绍了本文档的结构及其主要组成部分。

很多现实世界的问题及其对象都可以本能地用图结构来表示。这些表示不仅能捕捉给定域的主要属性，还能捕捉面向网络的问题中复杂的关系拓扑。图表示通常稀疏且复杂，为了适当地利用其各种拓扑特征，机器学习算法需要底层方法来有效地概括并从这些结构中产生足够的表示，同时考虑到数据完整性和计算效率的权衡。

在顺序决策问题的情况下，同样的情况也得到了验证。学习如何在面向网络的领域中映射良好的决策序列，在某些情况下，可能取决于对环境拓扑特征的考虑 [10, 67, 68, 78]。作为解决顺序决策问题的机器学习的主要范式，RL 算法需要进行调整以反映这些考虑因素，这为图强化学习 (GRL) 奠定了基础。这影响了这项工作的主要重点，它将应用于智能电网服务的应用领域。

此外，本论文是在波尔图大学工程学院（FEUP）信息学和计算机工程硕士学位（MEIC）的背景下撰写的。此外，该项目由人工智能和计算机科学实验室（LIACC）负责。

回顾当前与能源危机和气候变化相关的全球问题，人们越来越需要可持续和经济的能源系统来使现有电网现代化。这种现代化转化为向智能电网的过渡，智能电网配备智能控制和监控系统，以有效管理配电[10，34]、电压调节、系统恢复[77]、电网可靠性[45]或其他相关过程。目前，可再生能源在减少对化石燃料的依赖方面发挥着重要作用[50]，随着消费者获得产生可再生能源的能力，这改变了能源分配系统的拓扑结构。此外，对能源存储的投资正成为能源领域的优先事项[53]，从而提高了存储容量，并使当前的解决方案更接近普通消费者[36]。

所发现的问题是我们在智能电网服务应用领域开展这项工作的主要动机，期望通过提出 GRL 技术的具体改进，能够为动态经济调度问题提供性能良好的解决方案。除此之外，我们的目标是开发一种具有适应性且适用于其他智能电网问题的架构的解决方案，从而为这些服务做出重大贡献。

此外，解决 GRL 算法的主要原因在于它们的新颖性和复杂性、缺乏关于这些方法的详尽文献，以及需要针对不同的提议技术和架构进行系统和比较研究。

强化学习算法的分类，分为无模型和基于模型的方法。无模型强化学习包括两个子类别：策略优化和 Q 学习。在基于模型的强化学习中，算法分为学习模型的算法和假设模型给定的算法 [44]。