BadSampler: Harnessing the Power of Catastrophic Forgetting to Poison Byzantine-robust Federated Learning

本文讨论了联邦学习（FL）容易受到污染攻击的问题，其中被攻击的客户端通过修改本地数据集或发送篡改的模型更新来操纵全局模型。经验丰富的防御者可以使用拜占庭鲁棒的聚合规则轻松检测和减轻恶意行为的污染影响。然而，在这些行为不存在的情况下，拜占庭鲁棒FL中毒攻击的探索仍然很少。本文通过引入灾难性遗忘来解决这个具有挑战性的问题。为了填补这一空白，我们首先正式定义了泛化误差并建立了它与灾难性遗忘的联系，为开发一种名为BadSampler的干净标签数据污染攻击铺平了道路。该攻击仅利用干净标签数据（即不包含被污染的数据）来污染拜占庭鲁棒FL，并要求对手有选择地采样高损失的训练数据以供模型训练，并最大化模型的泛化误差。我们将攻击形式化为一个优化问题，并提出了两种优雅的对抗采样策略——Top-$\kappa$采样和元采样——来近似解决它。此外，我们的正式误差上界和时间复杂度分析表明，我们的设计可以高效地保留攻击效用。对两个真实世界数据集的广泛评估说明了我们提出的攻击的有效性和性能。

本文试图解决通过干扰样本选择来攻击拜占庭鲁棒的联邦学习的问题，即BadSampler攻击。

BadSampler攻击利用干净的标签数据来污染拜占庭鲁棒的联邦学习，通过有针对性地选择具有高损失的训练数据来喂给模型训练，从而最大化模型的泛化误差。

本文提出的BadSampler攻击仅利用干净的标签数据，而不是污染数据，来攻击拜占庭鲁棒的联邦学习。文中提出了两种优雅的对抗性采样策略，Top-k采样和元采样，来近似解决攻击问题。实验结果表明，BadSampler攻击是有效的。

最近在联邦学习领域中，还有一些研究关注于对抗性攻击，如基于梯度的攻击和基于投毒的攻击。其中一些相关的论文包括：“基于深度学习的分布式隐私保护和拜占庭容错机制”，“在联邦学习中对抗性投毒攻击：问题和挑战”。