zkLLM: Zero Knowledge Proofs for Large Language Models

最近人工智能（AI）的激增，以大型语言模型（LLMs）的突出地位为特征，已经在全球范围内引发了根本性的变革。然而，随着这些进展，对LLMs合法性的担忧也日益增长，给它们广泛应用带来了法律挑战。更加令人担忧的是，LLMs的参数通常被视为知识产权，限制了直接调查的可能性。 在这项研究中，我们解决了人工智能立法领域内的一个根本性挑战：建立LLMs生成的输出的真实性。为了解决这个问题，我们提出了zkLLM，这是我们所知道的专门为LLMs定制的首个专业零知识证明。为了解决深度学习中非算术操作的持续挑战，我们引入了tlookup，这是一种并行查找参数，专门设计用于深度学习中的非算术张量操作，提供了一种无渐近开销的解决方案。此外，利用tlookup的基础，我们引入了zkAttn，这是一种专门为注意机制设计的专业零知识证明，仔细平衡了运行时间、内存使用和准确性的考虑。 在我们完全并行化的CUDA实现的支持下，zkLLM成为实现LLMs上高效的零知识可验证计算的重要进展。值得注意的是，对于具有130亿参数的LLMs，我们的方法使得在不到15分钟的时间内生成整个推断过程的正确性证明成为可能。生成的证明大小不到200 kB，旨在维护模型参数的隐私，确保没有意外的信息泄露。

解决问题：文章旨在解决大型语言模型（LLMs）输出的真实性问题，提出了zkLLM和tlookup方案，以及zkAttn专用的零知识证明，旨在实现高效的零知识可验证计算。

关键思路：文章提出了zkLLM和tlookup方案，以及zkAttn专用的零知识证明，以实现对LLMs的高效零知识可验证计算，其中tlookup是为深度学习中的非算术张量操作设计的并行查找参数，没有渐近开销。

其他亮点：文章的方案可以在不泄露模型参数的情况下，为拥有130亿参数的LLMs生成整个推理过程的正确性证明，不到15分钟即可完成。文章还提供了基于CUDA的完全并行化实现，并且证明文件大小不到200KB。文章的实验结果表明，提出的方案在效率和准确性方面都有很好的表现。

相关研究：最近在这个领域中，还有一些相关的研究，如《Efficient Zero-Knowledge Argument for Correctness of a Shuffle》、《Scalable Zero Knowledge via Cycles of Elliptic Curves》等。