作者：Zheng Xu, Maxwell Collins, Yuxiao Wang,等

简介：本文研究用于训练具有用户级差异隐私的嵌入模型。过去，基于设备的小型模型已经成功地使用用户级差分隐私（DP）进行了下一个单词预测和图像分类任务的训练。然而，当使用具有大型类空间的监督训练数据直接应用于学习嵌入模型时，现有方法可能会失败。为了实现大型图像到嵌入特征提取器的用户级DP，作者提出了DP FedEmb：一种具有每个用户灵敏度控制和噪声添加的联合学习算法的变体，用于从数据中心集中的用户分区数据进行训练。DP FedEmb结合了虚拟客户端、部分聚合、私有本地微调和公共预处理，以实现强大的隐私效用权衡。作者应用DP FedEmb来训练人脸、地标和自然物种的图像嵌入模型，并在基准数据集DigiFace、EMNIST、GLD和iNaturalist上展示其在相同隐私预算下的优越实用性。作者进一步说明：当数百万用户可以参加训练时，在将效用下降控制在5%以内的同时，有可能实现强大的用户级DP保证（ε<2）。

论文下载：https://arxiv.org/pdf/2211.10844.pdf