By My Eyes: Grounding Multimodal Large Language Models with Sensor Data via Visual Prompting

大型语言模型（LLMs）已经在各个领域展现出了卓越的能力。然而，利用LLMs进行普适感知应用仍然具有挑战性，因为现有的文本提示方法在处理长的传感器数据序列时表现出显著的性能下降。我们提出了一种利用多模态LLMs（MLLMs）进行传感器数据的视觉提示方法。我们设计了一个视觉提示，指导MLLMs同时利用可视化的传感器数据和目标传感任务描述。此外，我们引入了一个可视化生成器，自动创建适合给定传感任务的最佳可视化，消除了先前需要特定任务知识的需求。我们在涉及四种感知模式的九个感知任务上评估了我们的方法，相比文本提示，平均准确率提高了10％，令token成本降低了15.8倍。我们的研究结果突显了利用MLLMs进行视觉提示在各种感知任务中的有效性和成本效益。

如何利用多模态大语言模型（MLLMs）进行传感器数据的普适感知任务？

通过设计视觉提示和可视化生成器，使MLLMs能够利用可视化的传感器数据和目标感知任务描述，实现普适感知任务。

使用多模态大语言模型（MLLMs）和视觉提示的方法，在四个传感器模态的九个感知任务中实现了10%的平均精度提升和15.8倍的令牌成本降低。而且，可视化生成器自动创建最优可视化，无需先前的任务特定知识。

最近的相关研究包括“基于人工智能的传感器数据分析”和“利用深度学习进行传感器数据分类”等。