Verifiable evaluations of machine learning models using zkSNARKs

在一个日益封闭的商业机器学习模型的世界中，开发者的模型评估必须被当作面值来看待。这些基准结果，无论是任务准确性、偏见评估还是安全检查，传统上都无法在不重新对黑匣子模型输出进行基准测试的情况下由模型最终用户进行验证，这一过程要么代价高昂，要么不可能完成。本文提出了一种使用 zkSNARKs 进行可验证模型评估的方法。通过这种方法，模型输出在数据集上的零知识计算证明可以打包成可验证的评估证明，证明固定私有权重的模型在公共输入上实现了所述的性能或公平度指标。这些可验证的证明可以在任何标准神经网络模型上执行，具有不同的计算要求。我们首次在一组真实世界模型上展示了这一方法，并突出了关键挑战和设计解决方案。这为私有模型的可验证评估提供了一种新的透明度范式。

实现可验证的模型评估，解决黑盒模型输出无法验证的问题。

使用zkSNARKs进行模型推理，生成可验证的评估证明，展示模型在公共输入上的性能和公平度。

论文展示了在一系列真实世界模型上实现可验证评估的方法，并提出了解决方案。实验使用了不同的数据集和计算需求。该方法为模型评估提供了新的透明度范式。

该领域的相关研究主要集中于黑盒模型可解释性和透明度方面，例如《Explainable AI: A Brief Survey of Methods and Techniques》、《Towards Transparent AI Systems: Interpreting Visual Question Answering Models》等。