Multistep Criticality Search and Power Shaping in Microreactors with Reinforcement Learning

降低运营和维护成本是先进反应堆普遍关注的目标，尤其是微型反应堆。为了实现这一目标，开发强大的自主控制算法至关重要，以确保反应堆的安全和自主运行。最近，人工智能和机器学习算法，特别是强化学习（RL）算法，在控制问题上得到了广泛应用，例如聚变托卡马克的等离子体控制和建筑能源管理。在这项工作中，我们介绍了RL在核微型反应堆智能控制中的应用。RL代理使用基于高保真度仿真的PPO和A2C等最先进的深度RL技术进行训练，仿真模型是基于Westinghouse eVinci™设计的微型反应堆。我们利用Serpent模型生成有关鼓位置、堆临界性和堆功率分布的数据，以训练前馈神经网络代理模型。然后，利用该代理模型指导PPO和A2C控制策略，在各种反应堆燃耗状态下确定最佳鼓位置，确保所有六个堆芯部分的临界条件和对称功率分布。结果表明，PPO在确定最佳鼓位置方面表现出色，实现了约1.002的六边形功率倾斜比（在小于1.02的限制范围内），并在10 pcm范围内保持临界性。在整个循环中考虑的所有燃耗步骤中，A2C的性能指标并不如PPO具有竞争力。此外，结果凸显出经过良好训练的RL控制策略快速识别控制动作的能力，为通过数字孪生实现实时自主控制提供了有希望的方法。

研究如何使用强化学习算法来实现核微型反应堆的智能控制，以降低运营和维护成本。

使用PPO和A2C等深度强化学习技术，结合Serpent模型生成的数据训练出神经网络代理模型，实现对核微型反应堆的智能控制。

实验结果表明，使用PPO算法能够在各个反应堆燃耗状态下实现优化的鼓位置，保持对称的功率分布和核心临界条件，而A2C算法的表现则不如PPO。研究结果表明，训练有素的强化学习控制策略能够快速识别控制动作，为数字孪生实现实时自主控制提供了有前途的方法。

最近的相关研究包括使用强化学习算法来控制核反应堆，如《Reinforcement Learning for Nuclear Reactor Control》和《Deep Reinforcement Learning for Autonomous Nuclear Power Plants: A Review》等。