An LLM-Based Digital Twin for Optimizing Human-in-the Loop Systems

随着物联网和物理系统（CPS-IoT）应用和基础模型的普及，新的应用程序可以利用对环境的实时控制。例如，对供暖、通风和空调（HVAC）系统的实时控制可以在人类居住者不需要时减少其使用，从而减少能源消耗。然而，在此类人在循环（HITL）系统中收集人类偏好的实时反馈在实践中是困难的。我们建议使用大型语言模型（LLMs）来处理CPS优化中动态环境和难以获得数据的挑战。在本文中，我们提出了一个案例研究，利用LLM代理模仿购物中心不同人群（例如年轻家庭、老年人）的行为和温度偏好。聚合的温度偏好被整合到基于代理的增强学习算法AitL-RL中，该算法利用LLM作为物理环境的动态模拟来学习如何在节能和居住者舒适之间平衡。我们的结果表明，LLM能够模拟大型开放空间内复杂的人口流动。此外，AitL-RL表现出比现有的设定点控制策略更优越的性能，表明在CPS-IoT应用中，自适应和个性化决策对于有效优化至关重要。通过这个案例研究，我们展示了将先进的基础模型（如LLM）集成到CPS-IoT中以增强系统适应性和效率的潜力。该项目的代码可以在我们的GitHub存储库中找到。

论文旨在解决在CPS-IoT应用中，如何实时控制环境以节约能源消耗，同时又能保证人员舒适度的问题，以及如何收集人员偏好的实时反馈数据的难题。

论文提出使用大型语言模型（LLMs）来处理CPS优化中动态环境和难以获得的数据的挑战。通过在购物中心中使用LLM代理来模拟不同人群（如年轻家庭、老年人）的行为和温度偏好，将聚合的温度偏好集成到基于代理的强化学习算法AitL-RL中，该算法使用LLM作为物理环境的动态模拟来学习如何在节约能源和保证人员舒适度之间平衡。结果表明，LLMs能够模拟大型开放空间中复杂的人群移动，并且AitL-RL相对于现有的设定点控制策略表现出更好的性能，这表明在CPS-IoT应用中，自适应和个性化决策是提高效率的关键。

论文通过案例研究展示了将先进的基础模型（如LLMs）集成到CPS-IoT中以增强系统适应性和效率的潜力。实验使用的是购物中心的数据集，并在GitHub上公开了项目代码。

近期的相关研究包括使用机器学习技术进行CPS优化的研究，以及使用大数据技术来收集和分析人员偏好的研究。其中一些研究包括：“A Survey of Machine Learning for Cyber-Physical Systems”和“Big Data Analytics for Smart and Connected Cities: Literature Review and Implementation Framework”。