- 简介BasedAI是一个分布式机器网络,引入了分散的基础设施,能够将完全同态加密(FHE)与连接到其网络的任何大型语言模型(LLM)集成。所提出的框架将一个名为“Cerberus Squeezing”的默认机制嵌入到挖掘过程中,使标准LLM转化为加密的零知识LLM或“ZK-LLM”,利用生成对抗网络的数据隐私洞察力。这种新型的量化机制赋予BasedAI矿工处理和响应由用户与LLM交互产生的提示的能力,而无需解密查询或相应的响应。引入Cerberus Squeezing显著改善了当前FHE兼容计算环境中由量化函数引起的性能降级,通过主动优化用户、矿工和验证器之间的调用。
- 图表
- 解决问题本论文旨在解决使用Fully Homomorphic Encryption (FHE)的计算环境中,量化函数导致的性能下降问题,提出了一种名为Cerberus Squeezing的新的量化机制,以便将标准LLMs转换为加密的零知识LLMs,从而保护数据隐私。
- 关键思路Cerberus Squeezing量化机制可将标准LLMs转换为加密的零知识LLMs,从而在不解密查询或响应的情况下处理和响应用户与LLMs的交互。
- 其它亮点论文使用了基于生成对抗网络(GAN)的数据隐私技术,提高了FHE计算环境中的性能,实现了更高效的用户、矿工和验证者之间的调用优化。论文还提供了一个分布式的网络架构,将FHE与LLMs集成在一起。
- 在最近的相关研究中,也有一些关于FHE和GAN在数据隐私保护方面的研究,例如“Privacy-Preserving Deep Learning via Additively Homomorphic Encryption and Generative Adversarial Nets”和“Learning Private Neural Language Modeling with Attentive Aggregation”等。
沙发等你来抢
去评论
评论
沙发等你来抢