Integrating Large Language Models with Multimodal Virtual Reality Interfaces to Support Collaborative Human-Robot Construction Work

在建筑行业中，工作环境复杂、无序且常常危险，人机协作技术的实施正在成为一个有前途的发展方向。这凸显了需要直观的通信接口，使建筑工人能够与机器人助手无缝协作的关键需求。本研究介绍了一种对话式虚拟现实（VR）接口，融合多模态交互，以增强建筑工人和机器人之间的直观沟通。通过将语音和控制器输入与机器人操作系统（ROS）、建筑信息模型（BIM）和一个由大型语言模型（LLM）驱动的聊天接口功能的游戏引擎相结合，所提出的系统能够在VR环境中实现直观和精确的交互。通过一项石膏板安装案例研究，由12名建筑工人进行评估，所提出的系统表现出了低负荷和高可用性，具有简洁的命令输入。所提出的多模态交互系统表明，这样的技术整合可以大大推进机器人助手在建筑行业中的整合。

本论文旨在解决建筑行业中人机协作的沟通问题，提出一种基于虚拟现实界面和多模态交互的解决方案。

论文提出了一种基于ROS、BIM和大型语言模型的多模态交互虚拟现实界面，使得建筑工人可以更加直观、精准地与机器人协作。

论文通过一个干墙安装案例研究，证明了该系统具有低负荷和高可用性，且命令输入简洁明了。该系统的亮点在于采用了多模态交互方式，提高了人机协作的效率。

在该领域的相关研究包括：1.基于机器人的建筑施工协作系统；2.基于深度学习的建筑物信息建模；3.基于虚拟现实的建筑施工仿真系统等。