Belief-Enriched Pessimistic Q-Learning against Adversarial State Perturbations

强化学习在各个领域取得了惊人的成功。然而，它的数据驱动性也引入了新的漏洞，可以被恶意对手利用。最近的研究表明，在测试阶段，通过策略性地扰动其状态观察，一个训练有素的强化学习智能体很容易被操纵。现有的解决方案要么引入正则化项以改善训练策略对扰动的平滑性，要么训练智能体的策略和攻击者的策略。然而，前者不能提供足够的保护来抵御强攻击，而后者对于大型环境来说计算量过大。在这项工作中，我们提出了一种新的鲁棒强化学习算法，用于推导悲观策略，以防止智能体对真实状态的不确定性。这种方法进一步增强了置信状态推理和基于扩散的状态净化，以减少不确定性。实证结果表明，我们的方法在强攻击下获得了出色的性能，并且在训练开销方面与基于正则化的方法相当。我们的代码可在 https://github.com/SliencerX/Belief-enriched-robust-Q-learning 上找到。

如何在强化学习中提高机器学习模型对于数据攻击的鲁棒性？

通过引入置信状态推断和扩散基础上的状态净化，提出了一种新的鲁棒强化学习算法，以应对机器学习模型面临的数据攻击风险。

该论文的实验结果表明，该算法在强攻击下表现出色，并且与基于正则化的方法相比，具有相当的训练效率。论文提供了开源代码。

近期的相关研究包括“Secure and Private Federated Learning with Attacking Models and Communication-Efficient Protocols”和“Adversarial Robustness via Label Smoothing”。