Trustless Audits without Revealing Data or Models

商业机构有着将模型和数据视为商业机密的激励，而社会需要算法透明度，二者之间的矛盾日益加剧。例如，想要知道他们的版权作品是否在训练中使用的权利持有者必须说服模型提供者允许第三方审计模型和数据。找到一个双方都同意的第三方很难，相关成本往往使这种方法不切实际。在这项工作中，我们展示了一种可能性，即允许模型提供者保持模型权重（但不是架构）和数据的秘密，同时允许其他方可信地审计模型和数据属性。我们通过设计一个名为ZkAudit的协议来实现这一点，在该协议中，模型提供者发布数据集和模型权重的密码承诺，以及一个零知识证明（ZKP），证明发布的承诺是从训练模型中得出的。然后，模型提供者可以通过私下计算数据集（或模型）的任何函数F并释放F的输出，同时发布另一个ZKP，证明F的正确执行，以回应审计请求。为了实现ZkAudit，我们开发了一种新的方法来计算现代神经网络上SGD的ZKP，用于简单的推荐系统和能够在ImageNet上实现高准确度的图像分类模型。从实证方面来看，我们展示了可以在几乎不损失准确性的情况下提供对DNN的无信任审计，包括版权、审查和反事实审计。

如何在保护商业机密的同时，实现算法透明度？

设计一种名为ZkAudit的协议，通过发布加密承诺和零知识证明，使其他方可以信任地审计模型和数据属性，同时保护模型权重和数据的机密性。

论文提出了一种新的方法，可以提供对深度神经网络的无需信任的审计，包括版权审计、审查审计和反事实审计，而几乎不会降低准确性。实验结果表明，ZkAudit可以在保护商业机密的同时，实现算法透明度。

最近在这个领域中，还有一些相关研究，如：《Towards Interpretable Deep Neural Networks by Leveraging Adversarial Examples》、《Explainable AI: A Primer and a Survey》等。