Improved Long Short-Term Memory-based Wastewater Treatment Simulators for Deep Reinforcement Learning

虽然深度强化学习在机器人和游戏领域表现出了出色的结果，但在优化污水处理等工业过程中实施仍然具有挑战性。其中一个挑战是缺乏模拟环境，该环境能够尽可能准确地代表实际工厂以训练深度强化学习策略。污水处理数据的随机性和非线性导致模型在长时间跨度上的预测不稳定和不正确。模型错误模拟行为的一个可能原因与复合误差问题有关，即模拟中误差的累积。复合误差是因为模型在每个时间步骤中都利用其预测作为输入。实际数据和预测之间的误差随着模拟的进行而累积。我们实施了两种方法来改进污水处理数据的训练模型，从而得到更准确的模拟器：1-使用模型的预测数据作为训练步骤中的纠正工具，2-改变损失函数以考虑长期预测形状（动态）。实验结果表明，实施这些方法可以提高模拟器的行为，以动态时间规整的方式，一年内比基准模型提高了高达98％。这些改进显示出在创建生物过程的模拟器方面具有重要的前景，这些模拟器不需要先前的过程知识，而完全依赖于从系统获得的时间序列数据。

如何使用深度强化学习（DRL）来优化类似废水处理这样的工业过程，其中缺乏准确的仿真环境以训练DRL策略，而且模型的不稳定性和累积误差问题使得长时间预测的准确性下降。

论文提出了两种方法来改善废水处理数据的训练模型，从而提高仿真器的性能，即使用模型的预测数据作为训练步骤的输入工具来进行校正，并改变损失函数以考虑长期预测形状（动态）。

实验结果表明，实施这些方法可以将仿真器的行为改善到一年内的动态时间扭曲最高可达98％，相对于基础模型而言，这些改进展示了在不需要先前知识的情况下创建生物过程仿真器的显着潜力，而是完全依赖于从系统获取的时间序列数据。

近期的相关研究包括：Wastewater Treatment Plant Control Using Deep Reinforcement Learning, A Reinforcement Learning Framework for the Control of Wastewater Treatment Process, Long-term prediction of wastewater treatment plant performance using deep learning