PocketLLM: Enabling On-Device Fine-Tuning for Personalized LLMs

最近大型语言模型（LLMs）的进展确实展示了它们令人印象深刻的能力。在移动设备上，每天产生的丰富有价值的非公开数据为本地微调个性化LLMs提供了巨大的潜力，同时通过在设备上处理来维护隐私。然而，移动设备资源的限制对于直接在设备上进行LLM微调提出了挑战，主要是由于需要保存梯度和优化器状态的基于导数的优化的记忆密集型性质。为了解决这个问题，我们提出采用无导数优化技术来实现在内存有限的移动设备上进行LLM微调。实证结果表明，RoBERTa-large模型和OPT-1.3B可以使用无导数优化技术在OPPO Reno 6智能手机上进行本地微调，分别使用约4GB和6.5GB的内存。这突显了在移动设备上进行LLM微调的可行性，为在资源受限的设备上个性化LLMs铺平了道路，同时保护数据隐私。

论文旨在解决在移动设备上进行大型语言模型（LLMs）本地微调时，由于导数优化所需的内存密集型性质，直接在设备上进行微调面临的挑战。

论文提出使用无导数优化技术来实现在内存受限的移动设备上进行LLM本地微调，从而实现个性化LLMs并保护数据隐私。

论文使用RoBERTa-large模型和OPT-1.3B在OPPO Reno 6智能手机上进行了本地微调，使用了无导数优化技术，证明了在内存受限的移动设备上进行LLM本地微调的可行性。

近期的相关研究包括《Large Scale Language Model Compression》、《MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devices》等。