Human-in-the-loop Reinforcement Learning for Data Quality Monitoring in Particle Physics Experiments

数据质量监控（DQM）是大型粒子物理实验中至关重要的任务，因为探测器故障可能会损害数据。目前，DQM由人工操作员执行，这是昂贵的，并且结果准确性有限。在这项工作中，我们提供了一个概念验证，即应用人机协同强化学习（RL）自动化DQM过程，同时适应随时间变化的操作条件。我们基于邻近策略优化（PPO）算法实现了一个原型，并在简化的合成数据集上进行了验证。我们演示了如何训练多智能体系统进行连续自动监控数据收集过程，只有在相关时才主动请求人类干预。我们表明，人类分类中的随机、无偏噪声可以减少，从而提高基线的准确性。此外，我们提出了数据增强技术来处理稀缺数据并加速学习过程。最后，我们讨论了实现该方法所需的进一步步骤，包括定期控制算法输出的协议。

论文旨在通过人机协作的强化学习方法，自动化粒子物理实验中的数据质量监控，解决人工监控成本高、准确度有限的问题。

论文采用基于PPO算法的多智能体系统，实现在数据采集过程中的连续自动监控，只在必要时请求人类干预，同时通过数据增强技术加速学习过程。

论文在简化的合成数据集上进行了验证，证明了该方法可以减少人类分类中的随机误差，相比基线方法有更高的准确性。实验中使用了数据增强技术，同时提出了实现该方法的进一步步骤和控制算法输出的协议。

近期相关研究包括自动化数据质量监控的其他方法，如基于机器学习和深度学习的方法，以及其他强化学习方法的应用。相关论文包括“Automated Data Quality Monitoring for Particle Physics Experiments using Machine Learning”和“Deep Learning for Real-Time Atari Game Play Using Offline Monte-Carlo Tree Search Planning”。