Function Approximation for Reinforcement Learning Controller for Energy from Spread Waves

这篇论文研究了工业化多发电机波浪能转换器（WEC）在处理来自不同方向的多个波浪（称为扩展波浪）时所需的控制器。这些复杂的设备在具有挑战性的环境中需要控制器具有多个目标，包括提高能量捕获效率、减少结构应力以限制维护，并积极保护免受高波浪的影响。通过使用Proximal Policy Optimization（PPO）算法训练的Multi-Agent Reinforcement Learning（MARL）控制器可以处理这些复杂性。本文探讨了不同的策略和评论网络的函数逼近方法，以建模系统动态的时序性质，发现这些方法对于提高性能至关重要。研究者使用全连接神经网络（FCN）、LSTM和变压器模型变体，探究了不同深度和门控残差连接的性能。结果表明，本文提出的中等深度具有门控残差连接的变压器模型（STrXL），在多头注意力、多层感知机和变压器块周围，是最优的，并且相比现有的弹簧阻尼（SD）控制器，可以提高22.1%的能量效率，适用于这些复杂的扩展波浪。此外，与默认的SD控制器不同，变压器控制器几乎消除了旋转偏航运动对机械应力的影响。演示视频：https://tinyurl.com/yueda3jh。

本论文旨在解决工业多发电机波能转换器在复杂的多波方向下控制的问题，需要同时考虑能量捕获效率、结构应力减少和高波的主动保护等多个目标。

论文提出了使用多智能体强化学习控制器（MARL）和Proximal Policy Optimization（PPO）算法来处理这些复杂性，并探索了不同的策略和评论网络的函数逼近方法，发现这是提高性能的关键。

论文探索了使用全连接神经网络（FCN）、LSTM和Transformer模型变体来建模系统动态的顺序性质，并发现Transformer模型是最优的，平均提高了22.1%的能量效率。此外，与默认的SD控制器不同，Transformer控制器几乎消除了角波的旋转偏航运动的机械应力。

最近的相关研究包括使用深度强化学习来控制波能转换器的研究，如《Deep Reinforcement Learning for Wave Energy Conversion Control》。