阿尔托大学|工业过程控制强化学习: 钢铁工业板形控制案例研究

【标题】Reinforcement learning for industrial process control: A case study in flatness control in steel industry

【作者团队】Jifei Deng, Seppo Sierla, Jie Sun, Valeriy Vyatkin

【发表日期】2022.8.2

【论文链接】https://www.sciencedirect.com/science/article/pii/S0166361522001452#!

【推荐理由】带钢轧制是一种典型的制造工艺，其中广泛应用了传统的控制方法。控制算法的开发需要通过第一原理或经验模型对过程进行数学表达。然而，由于需要控制工程、机械工程和材料科学的领域知识，因此很难升级传统的控制方法以应对不断变化的要求和环境条件。强化学习是一种机器学习方法，可以使智能体从与环境的交互中学习，从而避免了对上述数学表达式的需要。本文提出了一种将集成学习与强化学习方法相结合的带钢轧制控制新方法。基于近端策略优化（PPO），提出了一种多参与者PPO。每个随机初始化的 Actor 与环境并行交互，但只有获得最高奖励的 Actor 的经验用于更新 Actor。仿真结果表明，所提出的方法在过程能力和平滑度方面优于传统的控制方法和最先进的强化学习方法。