Efficient Prompting for LLM-based Generative Internet of Things

大型语言模型（LLMs）已经在各种任务中展示出卓越的能力，将LLMs的能力整合到物联网（IoT）应用程序中近期引起了许多研究关注。由于安全问题，许多机构避免访问最先进的商业LLM服务，需要在本地网络设置中部署和利用开源LLMs。然而，开源LLMs通常在性能方面有更多限制，例如算术计算和推理能力，而将LLMs应用于IoT的实际系统尚未得到很好的探索。因此，本研究提出了一种文本生成的IoT（GIoT）系统，部署在本地网络设置中。为了缓解LLMs的限制并提供具有竞争力的服务性能，我们应用提示工程方法来增强开源LLMs的能力，设计了提示管理模块和后处理模块来管理为不同任务量身定制的提示，并处理LLMs生成的结果。为了证明所提出的系统的有效性，我们将具有挑战性的表格问答（Table-QA）任务作为所提出的系统的案例研究，因为表格数据通常比纯文本更具挑战性，因为它们具有复杂的结构、异构的数据类型和有时巨大的大小。我们在两个流行的Table-QA数据集上进行了全面的实验，结果表明，我们的提案可以与最先进的LLMs相比具有竞争力的性能，表明所提出的基于LLMs的GIoT系统可以通过量身定制的提示方法提供具有竞争力的性能，并且可以轻松扩展到新任务而无需训练。

本论文旨在解决将大型语言模型（LLMs）应用于物联网（IoT）应用程序时的安全和性能问题。特别地，论文提出了一个在本地网络环境下部署的文本生成IoT（GIoT）系统，旨在通过Prompt Engineering方法增强开源LLMs的能力。

本论文的关键思路是设计Prompt Management Module和Post-processing Module来管理针对不同任务的定制提示，并处理LLMs生成的结果。通过这种方式，论文展示了LLMs在IoT应用中的潜力和竞争力。

本论文的亮点包括：1. 提出了一个在本地网络环境下部署的GIoT系统，使用Prompt Engineering方法增强了开源LLMs的能力。2. 在Table-QA任务上进行了细致的实验，证明了该方法的有效性和竞争力。3. 论文的方法易于扩展到新任务，而无需进行训练。4. 论文提供了开源代码和使用的数据集。

在这个领域中，最近的相关研究包括：1.《Large-Scale Pretraining for Neural Machine Translation》2.《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》3.《Improving Language Understanding by Generative Pre-Training》