Heuristic Algorithm-based Action Masking Reinforcement Learning (HAAM-RL) with Ensemble Inference Method

本文提出了一种新的强化学习（RL）方法，称为HAAM-RL（基于启发式算法的动作屏蔽强化学习），用于优化汽车喷漆过程中的颜色批处理重新排序问题。现有的启发式算法在充分反映现实约束和准确预测物流绩效方面存在局限性。我们的方法包括几个关键技术，包括量身定制的马尔可夫决策过程（MDP）公式，奖励设置包括基于潜力的奖励塑形，使用启发式算法的动作屏蔽（HAAM-RL）和结合多个RL模型的集成推理方法。RL代理使用商业3D模拟软件FlexSim进行培训和评估，该软件集成了我们的RL MLOps平台BakingSoDA。30个场景的实验结果表明，使用集成推理方法的HAAM-RL相比传统启发式算法提高了16.25％的绩效，结果稳定一致。所提出的方法表现出优越的性能和泛化能力，表明其在优化复杂制造过程方面的有效性。该研究还讨论了未来的研究方向，包括替代状态表示，结合基于模型的RL方法以及集成其他现实约束。

本文提出了一种名为HAAM-RL的强化学习方法，用于优化汽车喷漆过程中的颜色分配重新排序问题。该方法旨在克服现有启发式算法在反映真实世界约束和准确预测物流性能方面的局限性。

本文的关键思路包括：量身定制的马尔可夫决策过程（MDP）公式，潜在基于奖励塑形的奖励设置，使用启发式算法的动作屏蔽（HAAM-RL）以及结合多个RL模型的集成推理方法。

本文通过使用商业3D模拟软件FlexSim和RL MLOps平台BakingSoDA来训练和评估RL代理。实验结果表明，HAAM-RL与集成推理方法相比，性能提高了16.25％，并且结果稳定一致。本文的方法表现出卓越的性能和泛化能力，可以优化复杂的制造过程。

最近在这个领域中，还有一些相关研究，如：'A survey of reinforcement learning in automated manufacturing and assembly'，'Deep reinforcement learning for manufacturing and assembly: A survey'，'A deep reinforcement learning approach for dynamic scheduling of flexible manufacturing systems'等。