Pencil: Private and Extensible Collaborative Learning without the Non-Colluding Assumption

数据隐私日益受到关注，这对于协作神经网络训练提出了重大挑战，因为数据所有权和模型训练/部署责任属于不同的实体。我们的社区已经为解决这个问题做出了重大贡献，提出了各种方法，如联邦学习（FL）和基于密码构造的隐私保护机器学习，如同态加密（HE）和安全多方计算（MPC）。然而，FL完全忽略了模型隐私，而HE的可扩展性有限（仅限于一个数据提供者）。虽然最先进的MPC框架提供了合理的吞吐量，并同时确保了模型/数据隐私，但它们依赖于计算服务器的关键非串谋假设，放宽这个假设仍然是一个未解决的问题。 在本文中，我们提出了Pencil，这是第一个协作学习的私有训练框架，同时提供数据隐私、模型隐私和对多个数据提供者的可扩展性，而不依赖于非串谋假设。我们的基本设计原则是基于有效的两方协议构建n方协作训练协议，同时确保在模型训练期间切换到不同的数据提供者不会增加额外的成本。我们引入了几个新颖的加密协议来实现这个设计原则，并进行了严格的安全和隐私分析。我们对Pencil进行了全面的评估，证明了以下几点：（i）在明文和使用Pencil进行私有训练的模型之间，测试准确率几乎相同；（ii）Pencil的训练开销大大降低：Pencil的吞吐量比现有技术提高了10~260倍，通信量减少了2个数量级；（iii）Pencil对现有攻击和自适应（白盒）攻击都具有韧性。

解决数据隐私和模型隐私在协作神经网络训练中的问题，同时支持多个数据提供者的可扩展性，而不依赖于不合作假设。

提出了Pencil框架，使用有效的两方协议构建n方协作训练协议，并确保在模型训练期间切换到不同数据提供者不会引入额外的成本。引入了几种新的加密协议来实现这个设计原则。

Pencil框架可以同时提供数据隐私、模型隐私和多个数据提供者的可扩展性，且不依赖于不合作假设。实验结果表明，Pencil框架的测试精度与明文训练的模型几乎相同，训练开销大大降低，比现有技术高出10~260倍的吞吐量和2个数量级的通信量，并且对现有和自适应攻击具有鲁棒性。

在这个领域中，最近的相关研究包括federated learning (FL)和基于加密构造的隐私保护机器学习，如同态加密（HE）和安全多方计算（MPC）。