Optimization of Pressure Management Strategies for Geological CO2 Sequestration Using Surrogate Model-based Reinforcement Learning

将温室气体注入深层地下储层以永久存储可能会在注入诱发的应力超过临界阈值时意外导致断层重活化、盖层破裂和温室气体泄漏。在注入过程的各个阶段提取预先存在的流体，即所谓的压力管理，可以减轻相关风险并减少环境影响。然而，由于需要进行函数评估，确定最佳压力管理策略通常需要数千次完整模拟，使该过程在计算上变得不可行。本文介绍了一种新的基于代理模型的强化学习方法，以有效地制定地质CO2封存的最佳压力管理策略。我们的方法包括两个步骤。首先，通过嵌入控制方法开发代理模型，该方法采用编码器-转换器-解码器结构来学习潜在动态。利用这个代理模型，使用强化学习来找到最优策略，以最大化经济收益，同时满足各种控制约束。强化学习代理接收针对CO2封存量身定制的潜在状态空间表示和即时奖励，并选择实时控制，这些控制受到预定义的工程约束条件的限制，以最大化长期累积奖励。为了证明其有效性，将该框架应用于将CO2注入盐水储层的组分模拟模型中。结果显示，与基准方案相比，我们的代理模型强化学习方法显著优化了CO2封存策略，带来了显著的经济收益。

论文旨在通过提出一种基于代理模型和强化学习的方法，高效地设计最优的地质二氧化碳封存压力管理策略，以减少与地质二氧化碳封存相关的风险和环境影响。

该方法的关键思路是使用嵌入式控制方法构建代理模型，然后使用强化学习算法来寻找最优策略，以最大化经济收益并满足各种控制约束。

该论文的亮点包括使用代理模型和强化学习算法来高效地设计最优的地质二氧化碳封存压力管理策略，并在实验中应用了组成模拟模型来验证该方法的有效性。该方法在经济效益方面显著优于基准情景。

最近在这个领域中，其他相关研究包括：“Carbon Capture and Storage: A Review of Issues and Options”和“Optimal Control of CO2 Plume Migration During Geological Storage: A Model Predictive Control Approach”。