SeqMIA: Sequential-Metric Based Membership Inference Attack

现有的大多数成员推断攻击（MIAs）利用在模型最终状态下计算的指标（例如损失），而最近的高级攻击利用在模型训练过程中的各个阶段（包括中间和最终阶段）计算的指标。然而，这些攻击通常独立处理指标的多个中间状态，忽略它们的时间依赖模式。因此，它们难以有效地区分表现出类似指标值的成员和非成员，尤其是导致高误报率。 在这项研究中，我们深入探讨了黑盒情况下新的成员信号。我们确定了一个新的、更综合的成员信号：从模型训练的各个阶段派生出来的指标序列模式。我们认为当前的信号只提供了这个新信号的部分视角：新信号包括模型的多个中间和最终状态，更强调它们之间的时间模式。基于这个信号，我们引入了一种新的攻击方法，称为基于顺序指标的成员推断攻击（SeqMIA）。具体而言，我们利用知识蒸馏来获得一组代表目标模型训练各个阶段的蒸馏模型。然后，我们按时间顺序对这些蒸馏模型进行多个指标的评估，创建蒸馏指标序列。最后，我们将蒸馏的多指标序列集成为一个顺序多格式，并采用基于注意力的RNN攻击模型进行推断。实证结果表明，SeqMIA优于所有基线，特别是在TPR @ 0.1% FPR方面可以实现一个数量级的改进。此外，我们深入探讨了为什么这个信号有助于SeqMIA的高攻击性能，并评估了各种防御机制对SeqMIA的影响。

本文试图解决的问题是黑盒情况下的成员推断攻击（MIA）的准确性问题，提出了一种基于序列度量的攻击方法。

本文的关键思路是利用知识蒸馏获取目标模型不同阶段的模型，对这些模型进行多种度量的评估，并将评估结果组合成序列度量，使用基于注意力的循环神经网络模型进行推断攻击。

本文提出的攻击方法SeqMIA在实验中表现出色，可以在0.1% FPR的情况下获得一个数量级的TPR提升。此外，本文还探讨了序列度量对攻击性能的贡献，并评估了多种防御机制的有效性。

在最近的相关研究中，也有一些关于黑盒成员推断攻击的研究，例如《Membership Inference Attacks and Defenses in Supervised Learning via Generalized Additive Models》、《Membership Inference Attacks against Machine Learning Models》等。