BasedAI: A decentralized P2P network for Zero Knowledge Large Language Models (ZK-LLMs)

BasedAI是一个分布式机器网络，引入了分散的基础设施，能够将完全同态加密（FHE）与连接到其网络的任何大型语言模型（LLM）集成。所提出的框架将一个名为“Cerberus Squeezing”的默认机制嵌入到挖掘过程中，使标准LLM转化为加密的零知识LLM或“ZK-LLM”，利用生成对抗网络的数据隐私洞察力。这种新型的量化机制赋予BasedAI矿工处理和响应由用户与LLM交互产生的提示的能力，而无需解密查询或相应的响应。引入Cerberus Squeezing显著改善了当前FHE兼容计算环境中由量化函数引起的性能降级，通过主动优化用户、矿工和验证器之间的调用。

本论文旨在解决使用Fully Homomorphic Encryption (FHE)的计算环境中，量化函数导致的性能下降问题，提出了一种名为Cerberus Squeezing的新的量化机制，以便将标准LLMs转换为加密的零知识LLMs，从而保护数据隐私。

Cerberus Squeezing量化机制可将标准LLMs转换为加密的零知识LLMs，从而在不解密查询或响应的情况下处理和响应用户与LLMs的交互。

论文使用了基于生成对抗网络（GAN）的数据隐私技术，提高了FHE计算环境中的性能，实现了更高效的用户、矿工和验证者之间的调用优化。论文还提供了一个分布式的网络架构，将FHE与LLMs集成在一起。

在最近的相关研究中，也有一些关于FHE和GAN在数据隐私保护方面的研究，例如“Privacy-Preserving Deep Learning via Additively Homomorphic Encryption and Generative Adversarial Nets”和“Learning Private Neural Language Modeling with Attentive Aggregation”等。