P4: Towards private, personalized, and Peer-to-Peer learning

个性化学习是一种应对协作机器学习中数据异构问题的提议方法。在分散式环境中，个性化的两个主要挑战是客户端聚类和数据隐私。本文通过开发P4（Personalized Private Peer-to-Peer），解决了这些挑战，该方法确保每个客户端在训练期间和训练后保持本地数据集的差分隐私保证的同时，接收到个性化模型。我们的方法包括设计轻量级算法来识别相似的客户端并以私有的点对点（P2P）方式将它们分组。一旦分组，我们为客户端开发了差分隐私知识蒸馏以实现共同训练，对准确性的影响最小。我们在三个基准数据集（FEMNIST或联合EMNIST、CIFAR-10和CIFAR-100）和两种不同的神经网络架构（线性和基于CNN的网络）上评估了我们提出的方法，跨越一系列隐私参数。结果证明了P4的潜力，因为它在准确性方面比差分隐私P2P的最新技术表现提高了高达40％。我们还通过在资源受限设备上实施P4并验证其开销最小（例如，在两个客户端之间运行协作训练约需7秒），展示了P4的实用性。

解决数据异构性在协作机器学习中的问题，提出一种个性化隐私保护的P2P方法。

提出P4方法，使用轻量级算法将相似的客户端进行私有P2P聚类，然后开发差分隐私知识蒸馏进行协同训练，以保证每个客户端在训练期间和训练后都具有个性化模型和差分隐私保证。

论文使用三个基准数据集和两种不同的神经网络结构对所提出的P4方法进行评估，结果表明P4在准确性方面比差分隐私P2P的最新技术提高了多达40％。此外，论文还验证了P4在资源受限设备上的实用性，并证明其具有最小的开销。

相关的研究包括联邦学习和差分隐私机器学习。近期的相关论文包括“Federated Learning with Non-IID Data”和“Differentially Private Federated Learning: A Client Level Perspective”。