Secure Aggregation is Not Private Against Membership Inference Attacks

Secure aggregation（SecAgg）是联邦学习中常用的隐私增强机制，它使服务器仅能访问模型更新的聚合结果，同时保护个体更新的机密性。尽管有关SecAgg的隐私保护能力的广泛声明，但缺乏对其隐私的正式分析，因此这样的假设是不合理的。在本文中，我们将SecAgg视为每个本地更新的本地差分隐私（LDP）机制，深入探讨了SecAgg的隐私影响。我们设计了一个简单的攻击，其中对手服务器在SecAgg下的单个训练轮次中寻求区分客户端提交的两个可能更新向量中的哪一个。通过进行隐私审计，我们评估了此攻击的成功概率，并量化了SecAgg提供的LDP保证。我们的数值结果揭示，与普遍声明相反，即使在单个训练轮次中，SecAgg对成员推断攻击的隐私保护效果也很弱。事实上，当更新的维度很高时，通过添加其他独立的本地更新来隐藏本地更新是很困难的。我们的发现强调了在联邦学习中需要额外的隐私增强机制，例如噪声注入。

分析SecAgg在联邦学习中的隐私问题，特别是对成员推断攻击的隐私保护能力。

将SecAgg视为本地差分隐私（LDP）机制，设计了一种简单的攻击，评估了攻击的成功概率，并量化了SecAgg提供的LDP保证。

研究发现，SecAgg甚至在单次训练轮中对成员推断攻击提供的隐私保护能力较弱，尤其是在更新向量维度较高的情况下。因此，需要采用其他隐私增强机制，如噪声注入。

近期的相关研究包括：《Privacy-Preserving Federated Learning with Byzantine Robustness: A Comprehensive Study》、《Federated Learning with Differential Privacy: Algorithms and Performance》等。