PrivCirNet: Efficient Private Inference via Block Circulant Transformation

本文研究基于同态加密（HE）的深度神经网络（DNN）推理，该方法保护数据和模型隐私，但存在显著的计算开销。作者发现，将DNN权重转换为循环矩阵可将一般的矩阵向量乘法转换为HE友好的一维卷积，从而大大降低HE的计算成本。因此，作者提出了一种基于块循环变换的协议/网络协同优化框架——PrivCirNet。在协议层面上，PrivCirNet定制了HE编码算法，与块循环变换完全兼容，并且随着块大小的增加而减少计算延迟。在网络层面上，作者提出了一种基于二阶信息的延迟感知公式，以搜索逐层块大小分配。PrivCirNet还利用层融合进一步降低推理成本。作者将PrivCirNet与最先进的HE框架Bolt（IEEE S＆P 2024）和HE友好的修剪方法SpENCNN（ICML 2023）进行了比较。在Tiny ImageNet上的ResNet-18和Vision Transformer（ViT）上，PrivCirNet分别比Bolt降低了$5.0\times$和$1.3\times$的延迟，并且在保持相同精度的情况下比SpENCNN分别提高了$4.1\%$和$12\%$的准确性。在ImageNet上的MobileNetV2上，PrivCirNet分别比Bolt和SpENCNN实现了$1.7\times$更低的延迟和$4.2\%$的更高准确性。作者已在补充材料中提供了代码和检查点。

本论文旨在解决基于同态加密（HE）的深度神经网络（DNN）推理中存在的计算开销问题，提出了一种基于分块循环矩阵转换的协议/网络协同优化框架PrivCirNet。

论文提出了一种基于分块循环矩阵转换的协议/网络协同优化框架PrivCirNet，该框架在协议层面和网络层面分别进行优化，通过将DNN权重转换为循环矩阵，将一般的矩阵-向量乘法转换为HE友好的一维卷积，从而大大降低了HE的计算成本。

论文通过实验验证了PrivCirNet的有效性，与现有的HE-based框架Bolt和HE-friendly pruning方法SpENCNN进行了比较，结果表明，在保持精度的同时，PrivCirNet在ResNet-18、Vision Transformer（ViT）和MobileNetV2上分别比Bolt和SpENCNN具有更低的推理延迟和更高的精度。此外，论文还提供了代码和检查点。

与本论文相关的研究包括Bolt和SpENCNN。