IoT-LM: Large Multisensory Language Models for the Internet of Things

物联网（IoT）网络集成了数十亿个嵌入传感器、软件和通信技术的智能物理设备，是我们现代世界中至关重要且正在迅速扩展的组成部分。IoT生态系统提供了丰富的现实世界的模态，例如运动、热、地理位置、成像、深度、传感器和音频等，可以识别人类和物理对象的状态。机器学习为自动处理规模化的IoT数据提供了丰富的机会，使得可以有效地推断人类福祉、控制物理设备和连接智能城市。为了实现这一潜力，作者介绍了IoT-LM，这是一个专为IoT生态系统量身定制的开源大型多感知语言模型。IoT-LM通过两个技术贡献实现了这一目标：第一个是MultiIoT，迄今为止最全面的统一IoT数据集，包括12种模态和8项任务的超过115万个样本，用于多感知预训练和指导调整。第二个是一个新的多感知多任务适配器层，用于在多感知IoT数据上调整预训练的大型语言模型。IoT-LM不仅在8个监督式IoT分类任务上取得了实质性的改进，而且还展示了基于IoT传感器的新的交互式问答、推理和对话能力。作者还公布了IoT-LM的数据来源和新的多感知语言建模框架。

本论文旨在解决物联网数据处理的问题，提出了一种面向物联网的大型多传感器语言模型IoT-LM。

IoT-LM是一种基于MultiIoT数据集和新的多传感器多任务适配器层的语言模型，可以有效地处理物联网数据，提高物联网分类任务的准确率，并展示了新的交互式问答、推理和对话能力。

论文提出的IoT-LM模型在8个物联网分类任务上均取得了显著的提升，并且展示了新的交互式问答、推理和对话能力。MultiIoT数据集是目前最大的统一物联网数据集，包含12种模态和8个任务。论文还开源了数据集和新的多传感器语言建模框架。

近期的相关研究包括《Multimodal Language Pretraining for Dense Video Captioning》、《Multimodal Pretraining for Dense Video Captioning》等。