HETAL: Efficient Privacy-preserving Transfer Learning with Homomorphic Encryption

迁移学习是一种有效的方法，通过向在大型数据集上预训练的模型添加和微调新的分类层，为数据稀缺问题高效地训练机器学习模型。虽然以前的许多研究提出使用同态加密来解决机器学习作为服务中迁移学习的数据隐私问题，但大多数研究仅关注加密推理。在这项研究中，我们提出了一种名为HETAL的高效同态加密迁移学习算法，通过使用CKKS同态加密方案对客户端数据进行加密，保护客户端在训练任务中的隐私。HETAL是第一个严格提供加密训练的实用方案，采用基于验证的早停和达到非加密训练准确度。我们提出了一种高效的加密矩阵乘法算法，比先前的方法快1.8到323倍，并提出了一种高精度的softmax近似算法，覆盖范围更广。五个知名基准数据集的实验结果显示，总训练时间为567-3442秒，不到一小时。

本论文旨在解决在机器学习服务中，如何在保护客户隐私的同时，进行有效的迁移学习任务的问题。这是否是一个新问题？

论文提出了一种名为HETAL的算法，它使用CKKS同态加密方案来加密客户数据，从而实现加密训练。同时，论文还提出了一种有效的加密矩阵乘法算法和高精度的softmax逼近算法。这些方法使得HETAL可以在保护客户隐私的同时，达到与非加密训练相同的准确度。相比当前领域的研究，这篇论文的思路有什么新意？

论文在五个著名的基准数据集上进行了实验，显示出总训练时间在567-3442秒之间，少于一小时。此外，论文还提供了开源代码。值得进一步研究的工作包括如何将HETAL应用于更广泛的机器学习模型和更大的数据集。

最近相关的研究包括使用同态加密进行加密推理的其他研究，如HES和ABY3。