Enabling On-Device LLMs Personalization with Smartphone Sensing

这个演示展示了一个新颖的端到端框架，结合了设备上的大型语言模型（LLMs）和智能手机感应技术，实现了上下文感知和个性化服务。该框架通过上下文感知和定制提示工程，创新性地将LLMs部署在智能手机上，通过多模态传感器数据确保隐私并提高个性化性能，解决了当前云LLMs个性化解决方案的关键限制，如隐私问题、延迟和成本、个人信息受限等。一个涉及大学生的案例研究展示了该框架提供定制推荐的能力。此外，我们展示了该框架在隐私、性能、延迟、成本、电池和能耗等方面在设备上和云端LLMs之间实现了最佳平衡。据我们所知，这是第一个提供智能手机感应的设备上LLMs个性化框架。未来的工作将包括更多多样化的传感器数据和广泛的用户研究，以提高个性化。我们提出的框架有潜力在医疗保健、生产力和娱乐等领域显著改善用户体验。

论文旨在通过结合手机传感技术和设备上的大型语言模型（LLMs）来实现上下文感知和个性化服务，以解决当前云端LLMs个性化解决方案存在的隐私、延迟、成本和个人信息受限等问题。

通过将LLMs部署在手机上，结合上下文感知和定制提示工程，利用多模态传感器数据，确保隐私并提高个性化性能。

论文展示了该框架在提供定制推荐方面的能力，并在隐私、性能、延迟、成本、电池和能源消耗等方面实现了最佳权衡。此外，该框架还具有在医疗保健、生产力和娱乐等领域显著改善用户体验的潜力。

当前领域中的相关研究包括基于云端LLMs的个性化解决方案以及利用手机传感器数据实现上下文感知的研究。