加州大学圣地亚哥分校|了解情景强化学习中毒攻击的局限性

【标题】Understanding the Limits of Poisoning Attacks in Episodic Reinforcement Learning

【作者团队】Anshuka Rangi, Haifeng Xu, Long Tran-Thanh, Massimo Franceschetti

【发表日期】2022.8.29

【论文链接】https://arxiv.org/pdf/2208.13663.pdf

【推荐理由】为了解强化学习 (RL) 算法的安全威胁，本文研究了中毒攻击以操纵任何顺序最优学习算法以实现情景 RL 中的目标策略，并检查了两种自然类型的中毒攻击的潜在损害，即操纵奖励和行动。 作者发现攻击的效果关键取决于奖励是有界的还是无界的。 在有界奖励设置中，本文表明仅奖励操纵或仅动作操纵不能保证攻击成功。 然而，通过结合奖励和行动操纵，对手可以操纵任何顺序最优学习算法以遵循任何具有 \( \tilde{\Theta} \left ( \sqrt{T} \right ) \)总攻击成本的目标策略，这是顺序最优的，而无需了解底层 MDP。 相比之下，在无限奖励设置中，表明奖励操纵攻击足以让对手成功操纵任何顺序最优学习算法以遵循任何目标策略，使用\( \tilde{ O } \left ( \sqrt{T} \right ) \) 污染量。 本文的结果揭示了关于中毒攻击可以或不能实现什么的有用见解，并将推动更多关于鲁棒 RL 算法设计的工作。

内容中包含的图片若涉及版权问题，请及时与我们联系删除