Safety-Aware Reinforcement Learning for Electric Vehicle Charging Station Management in Distribution Network

本文针对电动汽车（EV）逐渐融入电网而未经协调可能对配电系统运行构成重大风险的问题，提出了一种安全感知的强化学习（RL）算法，旨在管理EV充电站，同时确保满足系统约束条件。与现有方法不同的是，我们提出的算法不依赖于对约束违规的显式惩罚，消除了对惩罚系数调整的需求。此外，管理EV充电站的复杂性进一步增加，主要由于多种不确定性，特别是太阳能发电和能源价格的变化。为了应对这一挑战，我们开发了一种离线策略RL算法，以有效利用数据来学习这些不确定环境中的模式。我们的算法还将最大熵框架纳入RL算法中，以增强探索过程，防止收敛到局部最优解。模拟结果表明，我们的算法在管理配电网络中的EV充电方面优于传统RL算法。

本论文旨在解决电动汽车（EVs）与电网的集成可能会对配电系统运营造成重大风险的问题，提出了一个安全感知的强化学习（RL）算法来管理EV充电站，同时确保满足系统约束条件。同时，该算法还能够在不确定性环境下学习模式。

该论文提出了一个无需显式惩罚约束违规的RL算法，通过最大熵框架增强算法的探索性能，从而提高算法的效率和准确性。同时，该算法能够适应不确定性环境，学习并预测太阳能发电和能源价格的变化。

该算法不需要显式惩罚约束违规，无需调整惩罚系数，具有更好的可解释性。同时，该算法能够在不确定性环境下学习模式，提高算法的效率和准确性。论文使用了模拟实验来验证算法的有效性，并将其与传统RL算法进行比较。论文还提供了开源代码。

最近的相关研究包括：《Deep Reinforcement Learning for Load Balancing in Heterogeneous Cellular Networks》、《A Reinforcement Learning Approach to Energy-Efficient and Delay-Aware Base Station Sleeping in HetNets》等。