Fill-and-Spill: Deep Reinforcement Learning Policy Gradient Methods for Reservoir Operation Decision and Control

需求变化、各种水文输入和环境压力是水务管理者和政策制定者经常面临的问题。这些问题引起了人们对应用不同技术来确定水库运行政策决策的兴趣。随着分析的分辨率提高，使用传统方法（如动态规划（DP）和随机动态规划（SDP））有效地表示现实世界系统变得更加困难，以确定最佳的水库运行政策。其中一个挑战是“维度诅咒”，这意味着需要的样本数量以指数方式增长，以估计具有给定精度的任意函数与函数的输入变量（即维度）的数量有关。深度强化学习（DRL）是一种智能方法，用于克服水库运营政策决策的随机优化问题。据我们所知，本研究是首次尝试检查各种新型DRL连续动作策略梯度方法（PGMs），包括深度确定性策略梯度（DDPG）、双延迟DDPG（TD3）和两个不同版本的软Actor-Critic（SAC18和SAC19）以优化水库运行政策。在本研究中，实施了多种DRL技术，以找到美国加利福尼亚州福尔瑟姆水库的最佳运行政策。水库系统为萨克拉门托市提供农业、市政、水力发电和环境流量需求和洪水控制运营。分析表明，TD3和SAC对于满足福尔瑟姆水库的需求和优化水库运行政策具有鲁棒性。

本论文旨在解决水库运营政策决策中的需求变化、水文输入和环境压力等问题。同时，论文也试图验证使用深度强化学习（DRL）技术优化水库运营政策的可行性。

本论文使用了多种DRL技术，包括DDPG、TD3和SAC等，来寻找加州福尔瑟姆水库的最优运营策略。研究结果表明，TD3和SAC等方法在满足水库需求和优化运营政策方面具有较好的鲁棒性。

论文使用了DRL技术来解决水库运营政策决策中的问题，并在实验中使用了多种DRL技术。研究结果表明，TD3和SAC等方法在水库运营政策方面具有较好的鲁棒性。论文还提供了数据集和代码。

近期的相关研究包括使用DRL技术优化水库运营政策的研究，如《Reinforcement Learning for Reservoir Control: A Review》和《Deep Reinforcement Learning for Optimal Operation of Multi-Reservoir System》等。