Accurate Low-Degree Polynomial Approximation of Non-polynomial Operators for Fast Private Inference in Homomorphic Encryption

随着机器学习在医疗保健、人脸识别和区块链等领域的渗透，保护敏感数据的需求越来越强烈。全同态加密（FHE）允许对加密数据进行推断，保护数据和机器学习模型的隐私。然而，它会将非安全推断速度降低到五个数量级，其根本原因在于用高阶多项式逼近函数（PAF）替换非多项式运算符（ReLU和MaxPooling）。我们提出了SmartPAF框架，用低阶PAF替换非多项式运算符，然后通过四种技术恢复PAF逼近模型的准确性：（1）系数调整（CT）-根据训练前的输入分布调整PAF系数，（2）渐进逼近（PA）-逐步替换一个非多项式运算符，然后进行微调，（3）交替训练（AT）-在解耦的方式下交替训练PAFs和其他线性运算符，以及（4）动态比例（DS）/静态比例（SS）-在训练中动态缩放PAF输入值在(-1,1)之间，并在FHE部署中将比例固定为运行最大值。CT、PA、AT和DS/SS的协同作用使SmartPAF能够增强在多个数据集下用各种低阶PAF逼近的各种模型的准确性。对于ImageNet-1k下的ResNet-18，SmartPAF在延迟-准确性权衡空间中发现的Pareto前沿线实现了1.42倍~13.64倍的准确性提高和6.79倍~14.9倍的速度提升，比之前的工作更好。此外，SmartPAF使14度的PAF（f1^2 g_1^2）相对于通过最小化逼近获得的27度PAF实现了7.81倍的加速，而后者的准确性相同，为69.4%。我们的代码可在https://github.com/EfficientFHE/SmartPAF上找到。

解决问题：论文提出SmartPAF框架，通过四种技术来提高多项式逼近函数（PAF）逼近模型的准确性，以解决Fully Homomorphic Encryption（FHE）在保护数据隐私的同时导致非安全推断速度缓慢的问题。

关键思路：SmartPAF框架通过将非多项式算子替换为低次数PAF，然后通过系数调整、渐进逼近、交替训练和动态/静态缩放四种技术来提高PAF逼近模型的准确性。

其他亮点：论文在ImageNet-1k数据集下使用ResNet-18模型进行实验，SmartPAF在准确率-延迟权衡空间中取得了1.42x ~ 13.64x的准确率提高和6.79x ~ 14.9x的速度提升，相比之前的工作有了显著的改进。此外，SmartPAF还使得14次PAF（f1^2 g_1^2）相比于使用相同69.4％后替换准确率的27次PAF最小极值逼近获得了7.81倍的加速。论文代码已经开源。

相关研究：最近的相关研究包括“Privacy-preserving deep learning”和“Secure multi-party computation”。